Оптимізоване адаптивне машинне навчання для динамічних потоків даних

Анотація

Об’єктом дослідження є адаптивні системи машинного навчання, здатні обробляти великі обсяги швидкозмінних потокових даних у режимі реального часу. Розглядається проблема підтримки точності прогнозування та обчислювальної ефективності за наявності дрейфу концепцій. Дрейф концепцій стосується переважування статичних моделей під час випробування стаціонарних моделей, а також зміни характеру базових розподілів. Адаптивна архітектура включає виявлення дрейфу концепцій, орієнтоване на дивергенцію редагувань, та інкрементне оновлення моделі за допомогою гіпервимірної статистичної кластеризації сегментів. Результати експериментів з використанням змодельованих та реальних наборів даних демонструють, що адаптивна архітектура підтримує точність прогнозування вище 0,83 у сценаріях різкого, поступового, рекурентного та безперервного дрейфу. Порівняно з неадаптивними моделями, затримка адаптації зменшується приблизно в 2,6 рази, а непотрібні операції перенавчання зменшуються до 40%. Ці результати можливі завдяки тому, що запропонована структура здатна перенавчати рішення тоді і тільки тоді, коли зміни розподілу визначені як статистично значущі та значущі для моделі. Це призводить до уникнення надлишкових обчислень для процесорів та забезпечення стаціонарної моделі в умовах відсутності дрейфу. Основний внесок полягає в тому, що інженерія ознак виконується з урахуванням дрейфу, порогове регулювання адаптується до зазначених розподілів, а механізми оновлення використовуються, що ефективно використовують ресурси в єдиному високопродуктивному потоковому конвеєрі. Архітектура добре працює в умовах різкого, поступового, періодичного та безперервного дрейфу та ефективна для застосувань у реальному часі, включаючи аналітику розумного міста, моніторинг кібербезпеки, роботи дорожніх систем та Інтернет речей для промислових систем