Аналіз статистичних методів визначення стійких словосполучень для ідентифікації ключових слів

Автор(и)

  • Vasyl Lytvyn Національний університет «Львівська політехніка» вул. С. Бандери, 12, м. Львів, Україна, 79013, Україна https://orcid.org/0000-0002-9676-0180
  • Victoria Vysotska Національний університет «Львівська політехніка» вул. С. Бандери, 12, м. Львів, Україна, 79013, Україна https://orcid.org/0000-0001-6417-3689
  • Dmytro Uhryn Чернівецький факультет Національного технічного університету «Харківський політехнічний інститут» вул. Головна, 203А, м. Чернівці, Україна, 58000, Україна https://orcid.org/0000-0003-4858-4511
  • Mariya Hrendus Національний університет «Львівська політехніка» вул. С. Бандери, 12, м. Львів, Україна, 79013, Україна https://orcid.org/0000-0003-3832-4716
  • Oleh Naum Дрогобицький державний педагогічний університет імені Івана Франка вул. І. Франка, 24, м. Дрогобич, Україна, 82100, Україна https://orcid.org/0000-0001-8700-6998

DOI:

https://doi.org/10.15587/1729-4061.2018.126009

Ключові слова:

стійке словосполучення, NLP, Information Retrieval, SEO, Web-mining, статистичний лінгвістичний аналіз, квантитативна лінгвістика, рубрикація

Анотація

Розглянуто особливості застосування технологій NLP, Information Retrieval, SEO та Web-mining для визначення стійких словосполучень при ідентифікації ключових слів в опрацюванні Web-ресурсів. Лінгвостатистичний аналіз природомовного тексту використовує переваги контент-моніторінгу на основі методів NLP для ідентифікації стійких словосполучень. Квантитативний аналіз стійких словосполучень використано для визначення степеня приналежності множині ключових слів. Запропоновано метод визначення стійких словосполучень при ідентифікації ключових слів україномовного контенту

Біографії авторів

Vasyl Lytvyn, Національний університет «Львівська політехніка» вул. С. Бандери, 12, м. Львів, Україна, 79013

Доктор технічних наук, професор

Кафедра інформаційних систем та мереж

Victoria Vysotska, Національний університет «Львівська політехніка» вул. С. Бандери, 12, м. Львів, Україна, 79013

Кандидат технічних наук, доцент

Кафедра інформаційних систем та мереж

Dmytro Uhryn, Чернівецький факультет Національного технічного університету «Харківський політехнічний інститут» вул. Головна, 203А, м. Чернівці, Україна, 58000

Кандидат технічних наук, доцент

Кафедра інформаційних систем

Mariya Hrendus, Національний університет «Львівська політехніка» вул. С. Бандери, 12, м. Львів, Україна, 79013

Асистент

Кафедра інформаційних систем та мереж

Oleh Naum, Дрогобицький державний педагогічний університет імені Івана Франка вул. І. Франка, 24, м. Дрогобич, Україна, 82100

Асистент

Кафедра інформаційних систем і технологій

Посилання

  1. Lytvyn, V., Vysotska, V., Pukach, P., Bobyk, I., Uhryn, D. (2017). Development of a method for the recognition of author’s style in the Ukrainian language texts based on linguometry, stylemetry and glottochronology. Eastern-European Journal of Enterprise Technologies, 4 (2 (88)), 10–19. doi: 10.15587/1729-4061.2017.107512
  2. Lytvyn, V., Vysotska, V., Pukach, P., Brodyak, O., Ugryn, D. (2017). Development of a method for determining the keywords in the slavic language texts based on the technology of web mining. Eastern-European Journal of Enterprise Technologies, 2 (2 (86)), 14–23. doi: 10.15587/1729-4061.2017.98750
  3. Lytvyn, V., Pukach, P., Bobyk, І., Vysotska, V. (2016). The method of formation of the status of personality understanding based on the content analysis. Eastern-European Journal of Enterprise Technologies, 5 (2 (83)), 4–12. doi: 10.15587/1729-4061.2016.77174
  4. Mobasher, B. (2007). Data mining for web personalization. The adaptive web, 90–135. doi: 10.1007/978-3-540-72079-9_3
  5. Dinucă, C. E., Ciobanu, D. (2012). Web Content Mining. Annals of the University of Petroşani. Economics, 12 (1), 85–92.
  6. Xu, G., Zhang, Y., Li, L. (2010). Web Content Mining. Web Mining and Social Networking, 71–87. doi: 10.1007/978-1-4419-7735-9_4
  7. Khomytska, I., Teslyuk, V. (2017). The Method of Statistical Analysis of the Scientific, Colloquial, Belles-Lettres and Newspaper Styles on the Phonological Level. Advances in Intelligent Systems and Computing, 512, 149–163. doi: 10.1007/978-3-319-45991-2_10
  8. Khomytska, I., Teslyuk, V. (2016). Specifics of phonostatistical structure of the scientific style in English style system. 2016 XIth International Scientific and Technical Conference Computer Sciences and Information Technologies (CSIT). doi: 10.1109/stc-csit.2016.7589887
  9. Bol'shakova, E., Klyshinskiy, E., Lande, D., Noskov, A., Peskova, O., Yagunova, E. (2011). Avtomaticheskaya obrabotka tekstov na estestvennom yazyke i komp'yuternaya lingvistika. Moscow: MIEM, 272.
  10. Anisimov, A., Marchenko, A. (2002). Sistema obrabotki tekstov na estestvennom yazyke. Iskusstvennyy intellekt, 4, 157–163.
  11. Perebyinis, V. (2000). Matematychna linhvistyka. Ukrainska mova. Kyiv, 287–302.
  12. Buk, S. (2008). Osnovy statystychnoi lingvistyky. Lviv, 124.
  13. Perebyinis, V. (2013). Statystychni metody dlia linhvistiv. Vinnytsia, 176.
  14. Braslavskiy P. I. Intellektual'nye informacionnye sistemy. Available at: http://www.kansas.ru/ai2006/
  15. Lande, D., Zhyhalo, V. (2008). Pidkhid do rishennia problem poshuku dvomovnoho plahiatu. Problemy informatyzatsii ta upravlinnia, 2 (24), 125–129.
  16. Varfolomeev, A. (2000). Psihosemantika slova i lingvostatistika teksta. Kaliningrad, 37.
  17. Sushko, S., Fomychova, L., Barsukov, Ye. (2010). Chastoty povtoriuvanosti bukv i bihram u vidkrytykh tekstakh ukrainskoiu movoiu. Ukrainian Information Security Research Journal, 12 (3 (48)). doi: 10.18372/2410-7840.12.1968
  18. Kognitivnaya stilometriya: k postanovke problemy. Available at: http://www.manekin.narod.ru/hist/styl.htm
  19. Kocherhan, M. (2005). Vstup do movoznavstva. Kyiv.
  20. Rodionova, E. (2008). Metody atribucii hudozhestvennyh tekstov. Strukturnaya i prikladnaya lingvistika, 7, 118–127.
  21. Meshcheryakov R. V., Vasyukov N. S. Modeli opredeleniya avtorstva teksta. Available at: http://db.biysk.secna.ru/conference/conference.conference.doc_download?id_thesis_dl=427
  22. Morozov N. A. Lingvisticheskie spektry. Available at: http://www.textology.ru/library/book.aspx?bookId=1&textId=3
  23. Victana. Available at: http://victana.lviv.ua/index.php/kliuchovi-slova
  24. Kanishcheva, O., Vysotska, V., Chyrun, L., Gozhyj, A. (2017). Method of Integration and Content Management of the Information Resources Network. Advances in Intelligent Systems and Computing, 689, 204–216. doi: 10.1007/978-3-319-70581-1_14
  25. Su, J., Vysotska, V., Sachenko, A., Lytvyn, V., Burov, Y. (2017). Information resources processing using linguistic analysis of textual content. 2017 9th IEEE International Conference on Intelligent Data Acquisition and Advanced Computing Systems: Technology and Applications (IDAACS). doi: 10.1109/idaacs.2017.8095038
  26. Lytvyn, V., Vysotska, V., Veres, O., Rishnyak, I., Rishnyak, H. (2017). The risk management modelling in multi project environment. 2017 12th International Scientific and Technical Conference on Computer Sciences and Information Technologies (CSIT). doi: 10.1109/stc-csit.2017.8098730
  27. Korobchinsky, M., Chyrun, L., Chyrun, L., Vysotska, V. (2017). Peculiarities of content forming and analysis in internet newspaper covering music news. 2017 12th International Scientific and Technical Conference on Computer Sciences and Information Technologies (CSIT). doi: 10.1109/stc-csit.2017.8098735
  28. Naum, O., Chyrun, L., Vysotska, V., Kanishcheva, O. (2017). Intellectual system design for content formation. 2017 12th International Scientific and Technical Conference on Computer Sciences and Information Technologies (CSIT). doi: 10.1109/stc-csit.2017.8098753
  29. Lytvyn, V., Vysotska, V., Burov, Y., Veres, O., Rishnyak, I. (2017). The Contextual Search Method Based on Domain Thesaurus. Advances in Intelligent Systems and Computing, 689, 310–319. doi: 10.1007/978-3-319-70581-1_22
  30. Marchenko, O. (2006). Modeliuvannia semantychnoho kontekstu pry analizi tekstiv na pryrodniy movi. Visnyk Kyivskoho universytetu, 3, 230–235.
  31. Jivani, A. G. (2011). A Comparative Study of Stemming Algorithms. Int. J. Comp. Tech. Appl., 2 (6), 1930–1938.
  32. Mishler, A., Crabb, E. S., Paletz, S., Hefright, B., Golonka, E. (2015). Using Structural Topic Modeling to Detect Events and Cluster Twitter Users in the Ukrainian Crisis. Communications in Computer and Information Science, 528, 639–644. doi: 10.1007/978-3-319-21380-4_108
  33. Rodionova, E. (2008). Metody atribucii hudozhestvennyh tekstov. Strukturnaya i prikladnaya lingvistika, 7, 118–127.
  34. Bubleinyk, L. (2000). Osoblyvosti khudozhnoho movlennia. Lutsk, 179.
  35. Kowalska, K., Cai, D., Wade, S. (2012). Sentiment Analysis of Polish Texts. International Journal of Computer and Communication Engineering, 1 (1), 39–42. doi: 10.7763/ijcce.2012.v1.12
  36. Kotsyba, N. (2009). The current state of work on the Polish-Ukrainian Parallel Corpus (PolUKR). Organization and Development of Digital Lexical Resources, 55–60.
  37. Machinese Phrase Tagger. Available at: http://www.connexor.com
  38. VISL. Available at: http://visl.sdu.dk
  39. Lytvyn, V., Vysotska, V., Veres, O., Rishnyak, I., Rishnyak, H. (2017). Classification Methods of Text Documents Using Ontology Based Approach. Advances in Intelligent Systems and Computing, 512, 229–240. doi: 10.1007/978-3-319-45991-2_15
  40. Vysotska, V. (2016). Linguistic analysis of textual commercial content for information resources processing. 2016 13th International Conference on Modern Problems of Radio Engineering, Telecommunications and Computer Science (TCSET). doi: 10.1109/tcset.2016.7452160
  41. Vysotska, V., Chyrun, L., Chyrun, L. (2016). Information technology of processing information resources in electronic content commerce systems. 2016 XIth International Scientific and Technical Conference Computer Sciences and Information Technologies (CSIT). doi: 10.1109/stc-csit.2016.7589909
  42. Vysotska, V., Chyrun, L., Chyrun, L. (2016). The commercial content digest formation and distributional process. 2016 XIth International Scientific and Technical Conference Computer Sciences and Information Technologies (CSIT). doi: 10.1109/stc-csit.2016.7589902
  43. Lytvyn, V., Vysotska, V., Veres, O., Rishnyak, I., Rishnyak, H. (2016). Content linguistic analysis methods for textual documents classification. 2016 XIth International Scientific and Technical Conference Computer Sciences and Information Technologies (CSIT). doi: 10.1109/stc-csit.2016.7589903
  44. Lytvyn, V., Vysotska, V. (2015). Designing architecture of electronic content commerce system. 2015 Xth International Scientific and Technical Conference “Computer Sciences and Information Technologies” (CSIT). doi: 10.1109/stc-csit.2015.7325446
  45. Vysotska, V., Chyrun, L. (2015). Analysis features of information resources processing. 2015 Xth International Scientific and Technical Conference “Computer Sciences and Information Technologies” (CSIT). doi: 10.1109/stc-csit.2015.7325448
  46. Vasyl, L., Victoria, V., Dmytro, D., Roman, H., Zoriana, R. (2017). Application of sentence parsing for determining keywords in Ukrainian texts. 2017 12th International Scientific and Technical Conference on Computer Sciences and Information Technologies (CSIT). doi: 10.1109/stc-csit.2017.8098797
  47. Maksymiv, O., Rak, T., Peleshko, D. (2017). Video-based Flame Detection using LBP-based Descriptor: Influences of Classifiers Variety on Detection Efficiency. International Journal of Intelligent Systems and Applications, 9 (2), 42–48. doi: 10.5815/ijisa.2017.02.06
  48. Peleshko, D., Rak, T., Izonin, I. (2016). Image Superresolution via Divergence Matrix and Automatic Detection of Crossover. International Journal of Intelligent Systems and Applications, 8 (12), 1–8. doi: 10.5815/ijisa.2016.12.01
  49. Bazylyk, O., Taradaha, P., Nadobko, O., Chyrun, L., Shestakevych, T. (2012). The results of software complex OPTAN use for modeling and optimization of standard engineering processes of printed circuit boards manufacturing. 2012 11th International Conference on "Modern Problems of Radio Engineering, Telecommunications and Computer Science" (TCSET), 107–108.
  50. Bondariev, A., Kiselychnyk, M., Nadobko, O., Nedostup, L., Chyrun, L., Shestakevych, T. (2012). The software complex development for modeling and optimizing of processes of radio-engineering equipment quality providing at the stage of manufacture. TCSET’2012, 159.
  51. Riznyk, V. (2017). Multi-modular Optimum Coding Systems Based on Remarkable Geometric Properties of Space. Advances in Intelligent Systems and Computing, 512, 129–148. doi: 10.1007/978-3-319-45991-2_9
  52. Teslyuk, V., Beregovskyi, V., Denysyuk, P., Teslyuk, T., Lozynskyi, A. (2018). Development and Implementation of the Technical Accident Prevention Subsystem for the Smart Home System. International Journal of Intelligent Systems and Applications, 10 (1), 1–8. doi: 10.5815/ijisa.2018.01.01
  53. Basyuk, T. (2015). The main reasons of attendance falling of internet resource. 2015 Xth International Scientific and Technical Conference “Computer Sciences and Information Technologies” (CSIT). doi: 10.1109/stc-csit.2015.7325440
  54. Pasichnyk, V., Shestakevych, T. (2017). The model of data analysis of the psychophysiological survey results. Advances in Intelligent Systems and Computing, 512, 271–281. doi: 10.1007/978-3-319-45991-2_18
  55. Zhezhnych, P., Markiv, O. (2018). Linguistic Comparison Quality Evaluation of Web-Site Content with Tourism Documentation Objects. Advances in Intelligent Systems and Computing, 689, 656–667. doi: 10.1007/978-3-319-70581-1_45
  56. Burov, E. (2014). Complex ontology management using task models. International Journal of Knowledge-Based and Intelligent Engineering Systems, 18 (2), 111–120. doi: 10.3233/kes-140291
  57. Chen, J., Dosyn, D., Lytvyn, V., Sachenko, A. (2016). Smart Data Integration by Goal Driven Ontology Learning. Advances in Big Data, 283–292. doi: 10.1007/978-3-319-47898-2_29
  58. Google – word2vec. Available at: https://github.com/danielfrg/word2vec/blob/master/examples/word2vec.ipynb

##submission.downloads##

Опубліковано

2018-03-16

Як цитувати

Lytvyn, V., Vysotska, V., Uhryn, D., Hrendus, M., & Naum, O. (2018). Аналіз статистичних методів визначення стійких словосполучень для ідентифікації ключових слів. Eastern-European Journal of Enterprise Technologies, 2(2 (92), 23–37. https://doi.org/10.15587/1729-4061.2018.126009

Номер

Том 2 № 2 (92) (2018): Інформаційні технології. Системи управління в промисловості

Розділ

Інформаційні технології

Ліцензія

Авторське право (c) 2018 Vasyl Lytvyn, Victoria Vysotska, Dmytro Uhryn, Mariya Hrendus, Oleh Naum

Creative Commons License

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.

Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.

Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.