Аналіз методів та алгоритмів обробки неструктурованих текстових даних на основі технології JSON

Анотація

Об’єктом дослідження є процес автоматизації систем для структуризації даних з декількох джерел. Предметом дослідження є методи та алгоритми реалізації цілісної системи для виконання автоматизованої та паралельної обробки, валідації та структуризації даних. Одним із найбільш проблемних місць є злиття баз даних із різними структурами та декількох спільними полями в узагальнену структуру. Дослідження було направлено на розробку системи для підвищення ефективності автоматизації обробки великих даних.

В результаті виконання роботи було досліджено методи оптимізації, проаналізовано вплив їх внутрішніх параметрів на роботу алгоритмів, визначені основні їх переваги та недоліки, а також розроблено програмне забезпечення, в якому реалізовані відповідні методи. Отримано алгоритм структуризації даних перед їх обробкою. Структуризація даних досягається шляхом виконання операції «маппінгу». Маппінг може відбуватися за індексами вже очищених даних або з використанням визначеного словника з заданим набором ключів, що дозволяє не піклуватися про послідовність зберігання значень та їх можливий зсув.

Практична значимість розробленої системи полягає у вдосконаленні методів збору та обробки інформації з метою її подальшої валідації, очистки та накопичення за наступними категоріями: географічні адреси та гео-координати, валідація та автоматизоване доповнення номеру мобільного телефону до міжнародного формату, обробка автомобільних номерів (у сучасному та застарілому форматі), VIN-коду двигуна та марки автомобіля, валідація url-адрес соціальних мереж, паспортні дані та обробка персональних даних. У порівнянні з аналогічними методами для обробки даних великого об’єму була використана можливість розбиття вхідного файлу або потоку на окремі частини, очищенні дані з яких – об’єднуються наприкінці процесу роботи системи. Завдяки цьому забезпечується можливість обробки даних, розмір яких перевищує доступний об’єм оперативної пам’яті пристрою, покращено методику роботи з слабоструктурованими текстовими файлами у форматі CSV.