Розробка конвеєра TRIE-BERT для автоматичного розподілу та класифікації мов з низьким рівнем ресурсів у текстах Batak Toba та Angkola scriptio continua

Анотація

Об'єктом цього дослідження є тексти мовами Batak Toba та Batak Angkola, написані у формі scriptio continua без пробілів. Робота вирішує проблему класифікації різновидів з низьким рівнем ресурсів, де два різновиди схожі, а відсутні межі слів створюють шум сегментації. Було розроблено гібридний конвеєр TRIE-BERT, в якому префіксна автоматизація виконує детерміноване розподілення, відновлений розподіл фіксується, а текст з розподілом стає стабільним вхідним інтерфейсом для класифікатора BERT (Bidirectional Encoder Representations from Transformers). В експериментах використовувався лексикон Батак з 19 070 слів та 8000 речень, по 4000 на кожен різновид, оцінених за чотирма схемами даних від 1000 до 8000 речень та п'ятьма епохами від 5 до 50 з розподілом 80:20. Після повторного калібрування лексикону близько 70 речень, точність розподілу досягла 98 відсотків. Найкраще налаштування з 8000 реченнями та 50 епохами досягло точності тесту 0,85 з втратою навчання 0,343, ROC AUC 0,85 та F1-балом 0,85, що перевищує базовий рівень рекурентної нейронної мережі довгої короткочасної пам'яті (LSTM-RNN) з точністю 0,80, втратою 0,397, ROC AUC 0,803 та F1-балом 0,80. Оцінка за класами дала точність 0,81 та повноту 0,92 для Toba та точність 0,90 та повноту 0,79 для Angkola, що пояснює усереднену точність 0,86 та повноту 0,85. Покращення пов'язане з комбінованим використанням детермінованого відновлення меж на основі трикутників та контекстної BERT-класифікації, де інтервали фіксуються перед класифікацією для зменшення неоднозначності токенів та стабілізації вхідної структури. Результати підтримують конвеєри обробки тексту мовою Батак, які потребують автоматичного визначення інтервалів та різноманітності під обмеженими мітками, за умови збереження охоплення лексики та контролю варіацій орфографії