Розроблення лінгвометричного методу автоматичного визначення автора текстового контенту на основі статистичного аналізу коефіцієнтів мовної різноманітності
DOI:
https://doi.org/10.15587/1729-4061.2018.142451Ключові слова:
NLP, контент-моніторінг, стоп-слова, контент-аналіз, статистийний лінгвістичний аналіз, квантитативна лінгвістикаАнотація
Розробленно лінгвометричний метод алгоритмічного забезпечення процесів контент-моніторінгу для розв’язання задачі автоматичного визначення автора україномовного текстового контенту на основі технології статистичного аналізу коефіцієнтів мовної різноманітності. Проведено декомпозицію методу визначення автора на основі аналізу таких коефіцієнтів мовлення як лексична різноманітність, ступінь (міра) синтаксичної складності, зв’язність мовлення, індекси винятковості та концентрації тексту. Проаналізовані також параметри авторського стилю як кількість слів у певному тексті, загальна кількість слів цього тексту, кількість речень, кількість прийменників, кількість сполучників, кількість слів із частотою 1, та кількість слів із частотою 10 та більше.
Особливостями розробленого є адаптація морфологічного та синтаксичного аналізу лексичних одиниць до особливостей конструкцій україномовних слів/текстів. Тобто при аналізі лінгвістичних одиниць типу слів, враховувалась належність до частини мови та відмінювання в межах цієї частини мови. Для цього провадився аналіз флексій цих слів для класифікації, виділення основи для формування відповідних алфавітно-частотних словників. Наповнення цих словників в подальшому враховувалися на наступних кроках визначення авторства тексту як розрахунок параметрів та коефіцієнтів авторського мовлення. Для індивідуального стилю письменника показовими є саме службові (стопові або опорні) слова, оскільки вони ніяк не пов’язані з темою і змістом публікації.
Проведено порівняння результатів на множині 200 одноосібних робіт технічного спрямування біля 100 різних авторів за період 2001–2017 рр. для визначення чи змінюються і як коефіцієнти різноманітності тексту цих авторів в різні проміжки часу. Виявлено, що для обраної експериментальної бази з понад 200 робіт найкращих результатів за критерієм щільності досягає метод аналізу статті без початкової обов’язкової інформації як анотації та ключові слова різними мовами, а також списку літературиПосилання
- Lytvyn, V., Vysotska, V., Pukach, P., Bobyk, I., Uhryn, D. (2017). Development of a method for the recognition of author’s style in the Ukrainian language texts based on linguometry, stylemetry and glottochronology. Eastern-European Journal of Enterprise Technologies, 4 (2 (88)), 10–19. doi: https://doi.org/10.15587/1729-4061.2017.107512
- Lytvyn, V., Vysotska, V., Pukach, P., Brodyak, O., Ugryn, D. (2017). Development of a method for determining the keywords in the slavic language texts based on the technology of web mining. Eastern-European Journal of Enterprise Technologies, 2 (2 (86)), 14–23. doi: https://doi.org/10.15587/1729-4061.2017.98750
- Lytvyn, V., Pukach, P., Bobyk, І., Vysotska, V. (2016). The method of formation of the status of personality understanding based on the content analysis. Eastern-European Journal of Enterprise Technologies, 5 (2 (83)), 4–12. doi: https://doi.org/10.15587/1729-4061.2016.77174
- Lytvyn, V., Vysotska, V., Pukach, P., Vovk, M., Ugryn, D. (2017). Method of functioning of intelligent agents, designed to solve action planning problems based on ontological approach. Eastern-European Journal of Enterprise Technologies, 3 (2 (87)), 11–17. doi: https://doi.org/10.15587/1729-4061.2017.103630
- Lytvyn, V., Vysotska, V., Uhryn, D., Hrendus, M., Naum, O. (2018). Analysis of statistical methods for stable combinations determination of keywords identification. Eastern-European Journal of Enterprise Technologies, 2 (2 (92)), 23–37. doi: https://doi.org/10.15587/1729-4061.2018.126009
- Khomytska, I., Teslyuk, V. (2016). Specifics of phonostatistical structure of the scientific style in English style system. 2016 XIth International Scientific and Technical Conference Computer Sciences and Information Technologies (CSIT). doi: https://doi.org/10.1109/stc-csit.2016.7589887
- Khomytska, I., Teslyuk, V. (2016). The Method of Statistical Analysis of the Scientific, Colloquial, Belles-Lettres and Newspaper Styles on the Phonological Level. Advances in Intelligent Systems and Computing, 149–163. doi: https://doi.org/10.1007/978-3-319-45991-2_10
- Mobasher, B. (2007). Data Mining for Web Personalization. Lecture Notes in Computer Science, 90–135. doi: https://doi.org/10.1007/978-3-540-72079-9_3
- Dinucă, C. E., Ciobanu, D. (2012). Web Content Mining. Annals of the University of Petroşani. Economics, 12 (1), 85–92.
- Xu, G., Zhang, Y., Li, L. (2010). Web Content Mining. Web Mining and Social Networking, 71–87. doi: https://doi.org/10.1007/978-1-4419-7735-9_4
- Bol'shakova, E., Klyshinskiy, E., Lande, D., Noskov, A., Peskova, O., Yagunova, E. (2011). Avtomaticheskaya obrabotka tekstov na estestvennom yazyke i komp'yuternaya lingvistika. Moscow: MIEM, 272.
- Anisimov, A., Marchenko, A. (2002). Sistema obrabotki tekstov na estestvennom yazyke. Iskusstvenniy intellekt, 4, 157–163.
- Perebyinis, V. (2000). Matematychna linhvistyka. Ukrainska mova. Kyiv, 287–302.
- Buk, S. (2008). Osnovy statystychnoi lingvistyky. Lviv, 124.
- Perebyinis, V. (2013). Statystychni metody dlia linhvistiv. Vinnytsia, 176.
- Braslavskiy, P. I. Intellektual'nye informacionnye sistemy. Available at: http://www.kansas.ru/ai2006/
- Lande, D., Zhyhalo, V. (2008). Pidkhid do rishennia problem poshuku dvomovnoho plahiatu. Problemy informatyzatsiyi ta upravlinnia, 2 (24), 125–129.
- Varfolomeev, A. (2000). Psihosemantika slova i lingvostatistika teksta. Kaliningrad, 37.
- Sushko, S., Fomychova, L., Barsukov, Ye. (2010). Chastoty povtoriuvanosti bukv i bihram u vidkrytykh tekstakh ukrainskoiu movoiu. Ukrainian Information Security Research Journal, 12 (3 (48)). doi: https://doi.org/10.18372/2410-7840.12.1968
- Kognitivnaya stilometriya: k postanovke problemy. Available at: http://www.manekin.narod.ru/hist/styl.htm
- Kocherhan, M. (2005). Vstup do movoznavstva. Kyiv, 368.
- Rodionova, E. (2008). Metody atribucii hudozhestvennyh tekstov. Strukturnaya i prikladnaya lingvistika, 7, 118–127.
- Meshcheryakov, R. V., Vasyukov, N. S. Modeli opredeleniya avtorstva teksta. Available at: http://db.biysk.secna.ru/conference/conference.conference.doc_download?id_thesis_dl=427
- Morozov, N. A. Lingvisticheskie spektry. Available at: http://www.textology.ru/library/book.aspx?bookId=1&textId=3
- Victana. Available at: http://victana.lviv.ua/nlp/linhvometriia
- Kanishcheva, O., Vysotska, V., Chyrun, L., Gozhyj, A. (2017). Method of Integration and Content Management of the Information Resources Network. Advances in Intelligent Systems and Computing, 204–216. doi: https://doi.org/10.1007/978-3-319-70581-1_14
- Su, J., Vysotska, V., Sachenko, A., Lytvyn, V., Burov, Y. (2017). Information resources processing using linguistic analysis of textual content. 2017 9th IEEE International Conference on Intelligent Data Acquisition and Advanced Computing Systems: Technology and Applications (IDAACS). doi: https://doi.org/10.1109/idaacs.2017.8095038
- Lytvyn, V., Vysotska, V., Veres, O., Rishnyak, I., Rishnyak, H. (2017). The risk management modelling in multi project environment. 2017 12th International Scientific and Technical Conference on Computer Sciences and Information Technologies (CSIT). doi: https://doi.org/10.1109/stc-csit.2017.8098730
- Korobchinsky, M., Chyrun, L., Chyrun, L., Vysotska, V. (2017). Peculiarities of content forming and analysis in internet newspaper covering music news. 2017 12th International Scientific and Technical Conference on Computer Sciences and Information Technologies (CSIT). 2017. doi: https://doi.org/10.1109/stc-csit.2017.8098735
- Naum, O., Chyrun, L., Vysotska, V., Kanishcheva, O. (2017). Intellectual system design for content formation. 2017 12th International Scientific and Technical Conference on Computer Sciences and Information Technologies (CSIT). doi: https://doi.org/10.1109/stc-csit.2017.8098753
- Lytvyn, V., Vysotska, V., Burov, Y., Veres, O., Rishnyak, I. (2017). The Contextual Search Method Based on Domain Thesaurus. Advances in Intelligent Systems and Computing, 310–319. doi: https://doi.org/10.1007/978-3-319-70581-1_22
- Marchenko, O. (2006). Modeliuvannia semantychnoho kontekstu pry analizi tekstiv na pryrodniy movi. Visnyk Kyivskoho universytetu, 3, 230–235.
- Jivani, A. G. (2011). A Comparative Study of Stemming Algorithms. Int. J. Comp. Tech. Appl., 2 (6), 1930–1938.
- Mishler, A., Crabb, E. S., Paletz, S., Hefright, B., Golonka, E. (2015). Using Structural Topic Modeling to Detect Events and Cluster Twitter Users in the Ukrainian Crisis. HCI International 2015 - Posters’ Extended Abstracts, 639–644. doi: https://doi.org/10.1007/978-3-319-21380-4_108
- Rodionova, E. (2008). Metody atribucii hudozhestvennyh tekstov. Strukturnaya i prikladnaya lingvistika, 7, 118–127.
- Bubleinyk, L. (2000). Osoblyvosti khudozhnoho movlennia. Lutsk, 179.
- Kowalska, K., Cai, D., Wade, S. (2012). Sentiment Analysis of Polish Texts. International Journal of Computer and Communication Engineering, 39–42. doi: https://doi.org/10.7763/ijcce.2012.v1.12
- Kotsyba, N. (2009). The current state of work on the Polish–Ukrainian Parallel Corpus (PolUKR). Organization and Development of Digital Lexical Resources, 55–60.
- Rashkevych, Y., Peleshko, D., Vynokurova, O., Izonin, I., Lotoshynska, N. (2017). Single-frame image super-resolution based on singular square matrix operator. 2017 IEEE First Ukraine Conference on Electrical and Computer Engineering (UKRCON). doi: https://doi.org/10.1109/ukrcon.2017.8100390
- Tkachenko, R., Tkachenko, P., Izonin, I., Tsymbal, Y. (2017). Learning-Based Image Scaling Using Neural-Like Structure of Geometric Transformation Paradigm. Studies in Computational Intelligence, 537–565. doi: https://doi.org/10.1007/978-3-319-63754-9_25
- Vysotska, V. (2016). Linguistic analysis of textual commercial content for information resources processing. 2016 13th International Conference on Modern Problems of Radio Engineering, Telecommunications and Computer Science (TCSET). doi: https://doi.org/10.1109/tcset.2016.7452160
- Lizunov, P., Biloshchytskyi, A., Kuchansky, A., Biloshchytska, S., Chala, L. (2016). Detection of near dublicates in tables based on the locality-sensitive hashing method and the nearest neighbor method. Eastern-European Journal of Enterprise Technologies, 6 (4 (84)), 4–10. doi: https://doi.org/10.15587/1729-4061.2016.86243
- Biloshchytskyi, A., Kuchansky, A., Biloshchytska, S., Dubnytska, A. (2017). Conceptual model of automatic system of near duplicates detection in electronic documents. 2017 14th International Conference The Experience of Designing and Application of CAD Systems in Microelectronics (CADSM). doi: https://doi.org/10.1109/cadsm.2017.7916155
- Vysotska, V., Rishnyak, I., Chyryn, L. (2007). Analysis and Evaluation of Risks in Electronic Commerce. 2007 9th International Conference – The Experience of Designing and Applications of CAD Systems in Microelectronics. doi: https://doi.org/10.1109/cadsm.2007.4297570
- Vysotska, V., Chyrun, L., Chyrun, L. (2016). Information technology of processing information resources in electronic content commerce systems. 2016 XIth International Scientific and Technical Conference Computer Sciences and Information Technologies (CSIT). doi: https://doi.org/10.1109/stc-csit.2016.7589909
- Vysotska, V., Chyrun, L., Chyrun, L. (2016). The commercial content digest formation and distributional process. 2016 XIth International Scientific and Technical Conference Computer Sciences and Information Technologies (CSIT). doi: https://doi.org/10.1109/stc-csit.2016.7589902
- Lytvyn, V., Vysotska, V., Veres, O., Rishnyak, I., Rishnyak, H. (2016). Content linguistic analysis methods for textual documents classification. 2016 XIth International Scientific and Technical Conference Computer Sciences and Information Technologies (CSIT). doi: https://doi.org/10.1109/stc-csit.2016.7589903
- Lytvyn, V., Vysotska, V. (2015). Designing architecture of electronic content commerce system. 2015 Xth International Scientific and Technical Conference “Computer Sciences and Information Technologies” (CSIT). doi: https://doi.org/10.1109/stc-csit.2015.7325446
- Vysotska, V., Chyrun, L. (2015). Analysis features of information resources processing. 2015 Xth International Scientific and Technical Conference “Computer Sciences and Information Technologies” (CSIT). doi: https://doi.org/10.1109/stc-csit.2015.7325448
- Vasyl, L., Victoria, V., Dmytro, D., Roman, H., Zoriana, R. (2017). Application of sentence parsing for determining keywords in Ukrainian texts. 2017 12th International Scientific and Technical Conference on Computer Sciences and Information Technologies (CSIT). doi: https://doi.org/10.1109/stc-csit.2017.8098797
- Maksymiv, O., Rak, T., Peleshko, D. (2017). Video-based Flame Detection using LBP-based Descriptor: Influences of Classifiers Variety on Detection Efficiency. International Journal of Intelligent Systems and Applications, 9 (2), 42–48. doi: https://doi.org/10.5815/ijisa.2017.02.06
- Peleshko, D., Rak, T., Izonin, I. (2016). Image Superresolution via Divergence Matrix and Automatic Detection of Crossover. International Journal of Intelligent Systems and Applications, 8 (12), 1–8. doi: https://doi.org/10.5815/ijisa.2016.12.01
- Bazylyk, O., Taradaha, P., Nadobko, O., Chyrun, L., Shestakevych, T. (2012). The results of software complex OPTAN use for modeling and optimization of standard engineering processes of printed circuit boards manufacturing. 2012 11th International Conference on "Modern Problems of Radio Engineering, Telecommunications and Computer Science" (TCSET), 107–108.
- Bondariev, A., Kiselychnyk, M., Nadobko, O., Nedostup, L., Chyrun, L., Shestakevych, T. (2012). The software complex development for modeling and optimizing of processes of radio-engineering equipment quality providing at the stage of manufacture. TCSET’2012, 159.
- Riznyk, V. (2017). Multi-modular Optimum Coding Systems Based on Remarkable Geometric Properties of Space. Advances in Intelligent Systems and Computing, 512, 129–148. doi: https://doi.org/10.1007/978-3-319-45991-2_9
- Teslyuk, V., Beregovskyi, V., Denysyuk, P., Teslyuk, T., Lozynskyi, A. (2018). Development and Implementation of the Technical Accident Prevention Subsystem for the Smart Home System. International Journal of Intelligent Systems and Applications, 10 (1), 1–8. doi: https://doi.org/10.5815/ijisa.2018.01.01
- Basyuk, T. (2015). The main reasons of attendance falling of internet resource. 2015 Xth International Scientific and Technical Conference “Computer Sciences and Information Technologies” (CSIT). doi: https://doi.org/10.1109/stc-csit.2015.7325440
- Pasichnyk, V., Shestakevych, T. (2017). The model of data analysis of the psychophysiological survey results. Advances in Intelligent Systems and Computing, 512, 271–281. doi: https://doi.org/10.1007/978-3-319-45991-2_18
- Zhezhnych, P., Markiv, O. (2018). Linguistic Comparison Quality Evaluation of Web-Site Content with Tourism Documentation Objects. Advances in Intelligent Systems and Computing, 689, 656–667. doi: https://doi.org/10.1007/978-3-319-70581-1_45
- Chernukha, O., Bilushchak, Y. (2016). Mathematical modeling of random concentration field and its second moments in a semispace with erlangian disrtibution of layered inclusions. Task Quarterly, 20 (3), 295–334.
- Davydov, M., Lozynska, O. (2017). Information system for translation into ukrainian sign language on mobile devices. 2017 12th International Scientific and Technical Conference on Computer Sciences and Information Technologies (CSIT). doi: https://doi.org/10.1109/stc-csit.2017.8098734
- Davydov, M., Lozynska, O. (2018). Mathematical Method of Translation into Ukrainian Sign Language Based on Ontologies. Advances in Intelligent Systems and Computing, 689, 89–100. doi: https://doi.org/10.1007/978-3-319-70581-1_7
- Davydov, M., Lozynska, O. (2016). Linguistic models of assistive computer technologies for cognition and communication. 2016 XIth International Scientific and Technical Conference Computer Sciences and Information Technologies (CSIT). doi: https://doi.org/10.1109/stc-csit.2016.7589898
- Mykich, K., Burov, Y. (2016). Uncertainty in situational awareness systems. 2016 13th International Conference on Modern Problems of Radio Engineering, Telecommunications and Computer Science (TCSET). doi: https://doi.org/10.1109/tcset.2016.7452165
- Mykich, K., Burov, Y. (2016). Algebraic Framework for Knowledge Processing in Systems with Situational Awareness. Advances in Intelligent Systems and Computing, 217–227. doi: https://doi.org/10.1007/978-3-319-45991-2_14
- Mykich, K., Burov, Y. (2016). Research of uncertainties in situational awareness systems and methods of their processing. Eastern-European Journal of Enterprise Technologies, 1 (4 (79)), 19–27. doi: https://doi.org/10.15587/1729-4061.2016.60828
- Mykich, K., Burov, Y. (2016). Algebraic model for knowledge representation in situational awareness systems. 2016 XIth International Scientific and Technical Conference Computer Sciences and Information Technologies (CSIT). doi: https://doi.org/10.1109/stc-csit.2016.7589896
- Kravets, P. (2010). The control agent with fuzzy logic. Perspective Technologies and Methods in MEMS Design, MEMSTECH'2010 – Proceedings of the 6th International Conference. Lviv, 40–41.
- Pukach, P., Il’kiv, V., Nytrebych, Z., Vovk, M., Pukach, P. (2018). On the Asymptotic Methods of the Mathematical Models of Strongly Nonlinear Physical Systems. Advances in Intelligent Systems and Computing, 689, 421–433. doi: https://doi.org/10.1007/978-3-319-70581-1_30
- Kravets, P. (2007). The Game Method for Orthonormal Systems Construction. 2007 9th International Conference – The Experience of Designing and Applications of CAD Systems in Microelectronics.doi: https://doi.org/10.1109/cadsm.2007.4297555
- Kravets, P. (2016). Game Model of Dragonfly Animat Self-Learning. Perspective Technologies and Methods in MEMS Design, 195–201.
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2018 Vasyl Lytvyn, Victoria Vysotska, Petro Pukach, Zinovii Nytrebych, Ihor Demkiv, Roman Kovalchuk, Nadiia Huzyk
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.
Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.