Дослідження методологій пошуку текстової інформації із використанням можливостей платформи Elastic
DOI:
https://doi.org/10.31498/2225-6733.47.2023.299979Ключові слова:
пошук, дані, платформа, бази даних, сервіс, додаток, С#, Elastic, програмне забезпечення, Logstash, IndexАнотація
Ця робота присвячена аналізу та оптимізації процесу пошуку додатків з використанням програмного засобу ElasticSearch. Предметом дослідження є платформа Elastic у контексті пошуку та аналізу даних. Об'єктом – оптимізація процесу пошуку та аналізу даних на базі цієї платформи. Метою даної роботи є дослідження можливостей та особливостей використання ElasticSearch для створення ефективного пошукового механізму додатків у великих аплікаційних магазинах. Визначено основні завдання для досягнення мети роботи. Проведений аналіз наукової літератури щодо методів та технологій пошуку та аналізу даних на основі платформи Elastic. Розглянуті основні складові та можливості платформи Elastic, включаючи ElasticSearch, Kibana та LogStash. Здійснений порівняльний аналіз ефективності пошуку на платформі Elastic та альтернативних рішень. Розроблений та реалізований тестовий сценарій для оцінки швидкодії та точності пошуку за допомогою платформи. Реалізований сервіс, який забезпечує функціонал пошуку для додатків. Розглянуті можливості інтеграції розробленого сервісу з існуючими додатками та системами для оптимального використання його функціоналу. Проведено тестування розробленого сервісу з використанням різних наборів даних для підтвердження його ефективності та точності. Визначені можливості масштабування та оптимізації розробленого сервісу для оптимальної продуктивності при використанні великих обсягів даних. Порівняно результати використання розробленого сервісу з аналогічними рішеннями та надані висновки щодо його конкурентоспроможності. Розроблена інструкція з використання розробленого сервісу та надані рекомендації щодо його ефективного впровадження в практичних сценаріях. Проведений аналіз отриманих результатів та зроблені висновки щодо ефективності та практичної цінності розробленого сервісу для вирішення конкретних завдань обробки та аналізу великих обсягів даних за допомогою платформи Elastic. Проведено емпіричне дослідження, використовуючи реальні набори даних, для оцінки ефективності пошуку на платформі. Вивчені можливості оптимізації та підвищення продуктивності пошуку на платформі шляхом конфігурації та налаштування. Зроблені висновки щодо ефективності пошуку за допомогою платформи Elastic та надані рекомендації щодо її використання в конкретних сценаріях
Посилання
Обзор решений для полнотекстового поиска в веб-проектах: Sphinx, Apache Lucene, Xapian. URL: https://dou.ua/lenta/articles/full-text-search-engines-overview-sphinx-apache-lucene-xapian/ (дата звернення 28.07.2023).
Why Full Text’s CONTAINS Queries Are So Slow. URL: https://www.brentozar.com/archive/2020/11/why-full-texts-contains-queries-are-so-slow (дата звернення 28.07.2023).
Apache Solr. URL: https://solr.apache.org (дата звернення 28.07.2023).
Elastic Stack. URL: https://www.elastic.co/elastic-stack (дата звернення 13.08.2023).
Croft W.B., Lafferty J. Language modeling for information retrieval. Springer Science & Business Media. 2003. 246 p. DOI: https://doi.org/10.1007/978-94-017-0171-6.
Different ways to model your data in ElasticSearch. URL: https://medium.com/@zhaoyi0113/different-ways-to-model-your-data-in-elasticsearch-bbc719f3d4fc (дата звернення 10.08.2023).
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Журнал "Вісник Приазовського державного технічного університету. Серія: Технічні науки" видається під ліцензією СС-BY (Ліцензія «Із зазначенням авторства»).
Дана ліцензія дозволяє поширювати, редагувати, поправляти і брати твір за основу для похідних навіть на комерційній основі із зазначенням авторства. Це найзручніша з усіх пропонованих ліцензій. Рекомендується для максимального поширення і використання неліцензійних матеріалів.
Автори, які публікуються в цьому журналі, погоджуються з наступними умовами:
1. Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, яка дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи в цьому журналі.
2. Автори мають право укладати самостійні додаткові угоди, які стосуються неексклюзивного поширення роботи в тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи в цьому журналі.