Розробка мультиагентної системи для вирішення задачі побудови словника предметної області
DOI:
https://doi.org/10.15587/2706-5448.2020.208400Ключові слова:
TF-IDF, RAKE, TextRank, Word2Vec, метод Шульце, текстові дані, частотний аналіз, паралельні обчислення, мультиагентна система.Анотація
Об’єктом дослідження є використання мультиагентних систем для аналізу текстових даних. Необхідність даного дослідження виникла з тенденцією до збільшення кількості текстової інформації, що генерується у світі. Відповідно, потрібно розробляти та досліджувати методи її обробки, а також – способи використання результатів даної обробки, адже методи не можуть існувати у відриві від практики. Одночасно з цим відбувається розвиток мультиагентних систем (МАС), в яких агенти наділені деякого роду інтелектом, дані системи можуть легко масштабуватися. Використання МАС для аналізу текстів є перспективним напрямком.
В даному дослідженні було використані наступні методи аналізу текстових даних: методи TF-IDF та RAKE, моделі нейронних мереж Word2Vec, а також TextRank. Проводилося порівняння алгоритмів на предмет їх роботи та порівняння результатів. У ролі тестового набору було використано корпуси документів (10–12 текстів, 5732–12331 слів) з предметних областей фізика та біологія. За результатами дослідження було обрано один метод, на основі якого було побудовано МАС для вирішення поставленої задачі. Додатково використано методи Шульце (з одним та декількома переможцями) для голосування. З отриманою системою проведені додаткові дослідження щодо точності та швидкості роботи, а також – впливу параметрів системи на її роботу.
Виявлено, що для пошуку термінів в документах зі слабким контекстом доцільним є аналіз на основі TF-IDF. Отримана система показує точність в межах 75 % (3 з 4 запропонованих системою слів є термінами). Максимальний час роботи на тестових корпусах – 2–3 секунди, що досягається за допомогою використання паралельних обчислень та модифікації методу Шульце. Отримані в даній роботі результати є евристичними (онтологія є досить нечітким поняттям) та потребують додаткового опрацювання експертами з відповідних напрямів. Проте результати є позитивними в межах даного експерименту.
Посилання
- Mikolov, T., Le, Q. V., Sutskever, I. (2013). Exploiting Similarities among Languages for Machine Translation. ArXiv. Available at: https://arxiv.org/abs/1309.4168
- Wu, H. C., Luk, R. W. P., Wong, K. F., Kwok, K. L. (2008). Interpreting TF-IDF term weights as making relevance decisions. ACM Transactions on Information Systems, 26 (3), 1–37. doi: http://doi.org/10.1145/1361684.1361686
- Aref, M.M. (2003). A multi-agent system for natural language understanding. IEMC '03 Proceedings. Managing Technologically Driven Organizations: The Human Side of Innovation and Change (IEEE Cat. No.03CH37502), 36–40. doi: http://doi.org/10.1109/kimas.2003.1245018
- Fum, D., Guida, G., Tasso, C. (1988). A distributed multi-agent architecture for natural language processing. Proceedings of the 12th conference on Computational linguistics, 812–814. doi: http://doi.org/10.3115/991719.991801
- Mihalcea, R., Tarau, P. (2004). TextRank: Bringing Order into Text. Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, 404–411.
- Rose, S. R., Engel, D., Cramer, N., Cowley, W. (2010). Automatic keyword extraction from individual documents. Text Mining. doi: http://doi.org/10.1002/9780470689646.ch1
- Twardowski, B., Ryzko, D. (2014). Multi-agent Architecture for Real-Time Big Data Processing. 2014 IEEE/WIC/ACM International Joint Conferences on Web Intelligence (WI) and Intelligent Agent Technologies (IAT), 3, 333–337. doi: http://doi.org/10.1109/wi-iat.2014.185
- Kiran, M., Murphy, P., Monga, I., Dugan, J., Baveja, S. S. (2015). Lambda architecture for cost-effective batch and speed big data processing. 2015 IEEE International Conference on Big Data (Big Data), 2785–2792. doi: http://doi.org/10.1109/bigdata.2015.7364082
- Singh, K., Behera, R., Mantri, J. (2019). Big Data Ecosystem: Review on Architectural Evolution. Advances in Intelligent Systems and Computing, 335–345. doi: http://doi.org/10.1007/978-981-13-1498-8_30
- Schulze, M. (2018). The Schulze Method of Voting. ArXiv. Available at: https://arxiv.org/abs/1804.02973
- Amdahl, Gene. (2007). Validity of the Single Processor Approach to Achieving Large Scale Computing Capabilities, Reprinted from the AFIPS Conference Proceedings, Vol. 30 (Atlantic City, N. J., Apr. 18–20). IEEE Solid-State Circuits Newsletter, 12, 19–20. doi: http://doi.org/10.1109/n-ssc.2007.4785615
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2020 Vadym Yaremenko, Oleksandr Syrotiuk
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.
