Вплив методу компіляції на визначення точності втрати помилки в навчанні нейронної мережі

Анотація

В області дослідження NLP (Natural Language Processing) важливим стало застосування нейронної мережі. Нейронна мережа широко застосовується в семантичному аналізі текстів на різних мовах. У зв'язку з актуалізацією обробки великих даних казахською мовою була побудована нейронна мережа для проведення глибокого навчання. В даному дослідженні об'єктом є процес навчання глибокої нейронної мережі, яка дає оцінку алгоритму побудови LDA моделі. Одним з найбільш проблемних місць є визначення правильних аргументів, які при компіляції моделі дадуть оцінку роботи алгоритму. В ході дослідження використовувався метод compile () з модульної бібліотеки Keras, основними аргументами якого є функція втрат, оптимізатори, метрики. Нейронна мережа реалізована на мові програмування Python. Основними аргументами компілятора глибокого навчання нейронної мережі для оцінки моделі LDA є підбір аргументів для отримання правильної оцінки алгоритму побудованої моделі за допомогою глибокого навчання нейронної мережі. У якості даних, що навчаються, представлений корпус тексту казахською мовою з не більш 8000 словами. Із застосуванням вище перерахованих методів був проведений експеримент з виборки аргументів для компілятора моделі при навчанні корпусу тексту казахською мовою. В результаті оптимальними аргументами були обрані оптимізатор – SGD, функція втрат – binary_crossentropy та метрика оцінки – 'cosine_proximity', які в результаті навчання показали прагнення до 0 loss (помилки)=0,1984, і cosine_proximity (точність навчання)=0.2239, що вважається допустимими заходами навчання. Отримані результати вказують на правильний вибір аргументів компіляції. Дані аргументи можна застосовувати при проведенні глибокого навчання нейронної мережі, де даними вибірки виступає пара «тема та ключові слова».