Розробка методу адаптивної реконфігурації систем потокового опрацювання даних на основі системних метрик

Анотація

Об’єктом дослідження є процес адаптивної зміни налаштувань для систем потокового опрацювання даних задля покращення окремих характеристик додатків. Проблема, яка вирішувалась в цій роботі, полягає у відсутності універсального підходу до автоматичного оновлення конфігурацій сховищ стану під час роботи застосунків. Зокрема, можливість адаптації без залучення програмних інженерів. Рішення реалізовано для Kafka Streams, але спроєктоване як портоване до інших фреймворків, що використовують RocksDB як сховище стану. Системи потокового опрацювання працюють на статичних конфігураціях, що обмежує їхню ефективність при зміні навантаження. У цьому дослідженні запропоновано адаптивний модуль, який спостерігає за системними метриками та оновлює параметри сховища стану без втручання оператора. Модуль відстежує метрики застосунку, застосовує детерміністичні правила, а за неоднозначних ситуацій використовує донавчену LLM (Large Language Model) для вибору нових значень конфігурацій. Після цього метод динамічно оновлює налаштування та перезапускає відповідний інстанс. У середовищі експериментів адаптивні запуски усунули затримки запису, підвищили частку влучань у memtable з 2% до 40% та у кеш блоків – з 15% до 80%, зменшили дискові навантаження приблизно вдвічі та збільшили пропускну здатність приблизно на 5%, за рахунок підвищеного використання оперативної пам’яті. Для уникнення виняткових ситуацій, а також хибних адаптацій було використано експериментально обґрунтоване 10-хвилинне вікно спостереження. Метод підходить для систем із фіксованими ресурсами, навантаженням із великою кількістю різних ключів та потребою у безпечній автоматизації з обмеженнями. Архітектура є універсальною й може застосовуватися не лише для Kafka Streams, а й для інших фреймворків зі сховищами типу RocksDB.