Дослідження методологій пошуку текстової інформації із використанням можливостей платформи Elastic

Автор(и)

  • О.В. Краснопьоров ДВНЗ «Приазовський державний технічний університет», м. Дніпро, Україна
  • О.В. Кривенко ДВНЗ «Приазовський державний технічний університет», м. Дніпро, Україна https://orcid.org/0009-0006-2860-6575
  • Т.О. Левицька ДВНЗ «Приазовський державний технічний університет», м. Дніпро, Україна https://orcid.org/0000-0003-3359-1313

DOI:

https://doi.org/10.31498/2225-6733.47.2023.299979

Ключові слова:

пошук, дані, платформа, бази даних, сервіс, додаток, С#, Elastic, програмне забезпечення, Logstash, Index

Анотація

Ця робота присвячена аналізу та оптимізації процесу пошуку додатків з використанням програмного засобу ElasticSearch. Предметом дослідження є платформа Elastic у контексті пошуку та аналізу даних. Об'єктом – оптимізація процесу пошуку та аналізу даних на базі цієї платформи. Метою даної роботи є дослідження можливостей та особливостей використання ElasticSearch для створення ефективного пошукового механізму додатків у великих аплікаційних магазинах. Визначено основні завдання для досягнення мети роботи. Проведений аналіз наукової літератури щодо методів та технологій пошуку та аналізу даних на основі платформи Elastic. Розглянуті основні складові та можливості платформи Elastic, включаючи ElasticSearch, Kibana та LogStash. Здійснений порівняльний аналіз ефективності пошуку на платформі Elastic та альтернативних рішень. Розроблений та реалізований тестовий сценарій для оцінки швидкодії та точності пошуку за допомогою платформи. Реалізований сервіс, який забезпечує функціонал пошуку для додатків. Розглянуті можливості інтеграції розробленого сервісу з існуючими додатками та системами для оптимального використання його функціоналу. Проведено тестування розробленого сервісу з використанням різних наборів даних для підтвердження його ефективності та точності. Визначені можливості масштабування та оптимізації розробленого сервісу для оптимальної продуктивності при використанні великих обсягів даних. Порівняно результати використання розробленого сервісу з аналогічними рішеннями та надані висновки щодо його конкурентоспроможності. Розроблена інструкція з використання розробленого сервісу та надані рекомендації щодо його ефективного впровадження в практичних сценаріях. Проведений аналіз отриманих результатів та зроблені висновки щодо ефективності та практичної цінності розробленого сервісу для вирішення конкретних завдань обробки та аналізу великих обсягів даних за допомогою платформи Elastic. Проведено емпіричне дослідження, використовуючи реальні набори даних, для оцінки ефективності пошуку на платформі. Вивчені можливості оптимізації та підвищення продуктивності пошуку на платформі шляхом конфігурації та налаштування. Зроблені висновки щодо ефективності пошуку за допомогою платформи Elastic та надані рекомендації щодо її використання в конкретних сценаріях

Біографії авторів

О.В. Краснопьоров , ДВНЗ «Приазовський державний технічний університет», м. Дніпро

Магістрант

О.В. Кривенко , ДВНЗ «Приазовський державний технічний університет», м. Дніпро

Кандидат технічних наук, доцент

Т.О. Левицька , ДВНЗ «Приазовський державний технічний університет», м. Дніпро

Кандидат технічних наук, доцент

Посилання

Обзор решений для полнотекстового поиска в веб-проектах: Sphinx, Apache Lucene, Xapian. URL: https://dou.ua/lenta/articles/full-text-search-engines-overview-sphinx-apache-lucene-xapian/ (дата звернення 28.07.2023).

Why Full Text’s CONTAINS Queries Are So Slow. URL: https://www.brentozar.com/archive/2020/11/why-full-texts-contains-queries-are-so-slow (дата звернення 28.07.2023).

Apache Solr. URL: https://solr.apache.org (дата звернення 28.07.2023).

Elastic Stack. URL: https://www.elastic.co/elastic-stack (дата звернення 13.08.2023).

Croft W.B., Lafferty J. Language modeling for information retrieval. Springer Science & Business Media. 2003. 246 p. DOI: https://doi.org/10.1007/978-94-017-0171-6.

Different ways to model your data in ElasticSearch. URL: https://medium.com/@zhaoyi0113/different-ways-to-model-your-data-in-elasticsearch-bbc719f3d4fc (дата звернення 10.08.2023).

##submission.downloads##

Опубліковано

2023-12-28

Як цитувати

Краснопьоров , О., Кривенко , О., & Левицька , Т. (2023). Дослідження методологій пошуку текстової інформації із використанням можливостей платформи Elastic. Вісник Приазовського Державного Технічного Університету. Серія: Технічні науки, (47), 49–57. https://doi.org/10.31498/2225-6733.47.2023.299979

Номер

Розділ

122 Комп'ютерні науки та інформаційні технології