Оцінювання ефективності великих мовних моделей для вилучення сутностей з неструктурованих документів

Анотація

Об’єкт дослідження – масиви неструктурованих документів, які розташовано на публічних веб-сайтах сільських та міських громад України.

Дослідження присвячено вирішенню проблеми вибору великої мовної моделі (LLM), яка є найкращою для прикладного використання у вирішенні задач розпізнавання іменованих сутностей (NER) під час обробки документів. Сучасні дослідники визнають, що на подібний вибір суттєво впливають особливості предметної галузі та мови створення документів. Але під час вивчення доцільності застосування LLM для вирішення задач NER особливості експлуатації таких моделей практично не враховуються. Питання оцінювання таких особливостей залишаються значною мірою недослідженими.

Запропоновано метод розпізнавання обраних різновидів юридичних неструктурованих текстів українською мовою. На відміну від існуючих, цей метод вирішує задачу NER для тих документів, які підлягають розпізнаванню/класифікації. Запропоновані метрики вартості обробки вхідних та вихідних токенів та розроблено методику оцінювання вартості використання LLM. На основі цих результатів проведено порівняльне оцінювання застосування розповсюджених LLM для вирішення задачі NER над текстами українською мовою, які слід розпізнати. За результатами оцінювання визнано: (I) за точністю та якістю обробки найкращою є GPT-4o (Precision = 0.919; Recall = 0.954; F1 = 0.936); (II) за значенням середньої вартості обробки документа найкращою є GPT-4o-mini із знижками (0.00045 дол. США за документ); (III) за співвідношенням «якість/вартість» найкращою є GPT-4.1-mini із знижками (значення показника дорівнює 0.938). Як найкращу для прикладного застосування рекомендовано LLM GPT-4.1-mini.

Отримані результати оцінювання дозволяють значно спростити вибір LLM, яку доцільно використовувати для створення інформаційних систем і технології обробки неструктурованих документів, створених українською мовою.