Розробка методу адаптивного керування простежуваністю даних для ресурсно-орієнтованої потокової обробки в режимі реального часу
DOI:
https://doi.org/10.15587/2706-5448.2026.362294Ключові слова:
потокова обробка даних, простежуваність даних, Apache Flink, розподілені системиАнотація
Об’єктом дослідження є процес управління простежуваністю у системах потокової обробки даних в режимі реального часу. Предметом дослідження є адаптивний метод простежуваності з урахуванням ресурсів, який змінює її детальність під час виконання без впливу на результати обробки.
У цій роботі вирішувалася проблема перевантаження системних ресурсів під час збору детальної простежуваності. Запропоновано метод адаптивного відстеження походження даних у режимі реального часу. Його особливість полягає у динамічному виборі рівня деталізації простежуваності на основі показників процесора та пам'яті купи.
Метод оцінювався на 5000 змодельованих IoT-датчиках із 60-секундним вікном обробки. Експерименти відбувалися при цільовій частоті 15000 записів на секунду у 3-, 15- та 30-хвилинних запусках. Отримані результати показують, що цей метод тримає пропускну здатність близькою до базових запусків, водночас суттєво знижуючи навантаження на використання процесора порівняно з повною простежуваністю. За однакових навантажень адаптивні запуски споживають приблизно у 3–4 рази більше ресурсів процесора, ніж базові запуски. У той самий час повна простежуваність потребує близько 6–9 разів більше, оскільки контролер знижує рівень під тиском і повертає детальний режим лише після відновлення ресурсів. Пам'ять купи є слабшим показником, оскільки відображає лише частину пам'яті та може змінюватися під час її періодичного очищення.
Запропонований метод найбільш корисний під час аномалій, інцидентів або аудитів, де потрібна вибіркова простежуваність даних. Така адаптивність робить його доцільним для IoT-шлюзів, граничних пристроїв та регульованих галузей, що працюють в умовах жорстких ресурсних обмежень.
Посилання
- Herschel, M., Diestelkämper, R., Ben Lahmar, H. (2017). A survey on provenance: What for? What form? What from? The VLDB Journal, 26 (6), 881–906. https://doi.org/10.1007/s00778-017-0486-1
- Bashtovyi, A., Fechan, A. (2025). Development of a standardized approach for evaluating business insights in stream processing systems based on technical metrics. Technology Audit and Production Reserves, 2 (2 (82)), 15–20. https://doi.org/10.15587/2706-5448.2025.325717
- Palyvos-Giannas, D., Gulisano, V., Papatriantafilou, M. (2018). GeneaLog: Fine-Grained Data Streaming Provenance at the Edge. Proceedings of the 19th International Middleware Conference, 227–238. https://doi.org/10.1145/3274808.3274826
- Palyvos-Giannas, D., Havers, B., Papatriantafilou, M., Gulisano, V. (2020). Ananke: a streaming framework for live forward provenance. Proceedings of the VLDB Endowment, 14 (3), 391–403. https://doi.org/10.14778/3430915.3430928
- Gordani Shahri, M., Erlandsson, A., Palyvos-Giannas, D., Gulisano, V. (2021). Poster: Twins, a Middleware for Adaptive Streaming Provenance at the Edge. Proceedings of the 22nd International Conference on Distributed Computing and Networking. New York, 235–236. https://doi.org/10.1145/3427796.3433931
- Wang, L., Shen, X., Li, W., LI, Z., Sekar, R., Liu, H., Chen, Y. (2025). Incorporating Gradients to Rules: Towards Lightweight, Adaptive Provenance-based Intrusion Detection. Proceedings 2025 Network and Distributed System Security Symposium. https://doi.org/10.14722/ndss.2025.230822
- Fernando, L., Kim, T., Daudjee, K., Rabl, T. (2025). Enjima: A Resource-Adaptive Stream Processing System. Proceedings of the ACM on Management of Data, 3 (6), 1–27. https://doi.org/10.1145/3769790
- Moravskyi, R., Levus, Y. (2024). Analysis of Real-time Processing Approaches for Large Data Volumes in Metering Infrastructure. Journal of Lviv Polytechnic National University: Information Systems and Networks, 15, 169–183. https://doi.org/10.23939/sisn2024.15.169
- Mohamed, Z. (2023). Data streaming provenance in advanced metering infrastructures. [Master’s thesis; Chalmers University of Technology]. Available at: https://hdl.handle.net/2077/79292
- Taube, J., Johnsson, W. (2022). Streaming analytics with provenance in the advanced metering infrastructure. [Master’s thesis; Chalmers University of Technology]. Available at: https://odr.chalmers.se/handle/20.500.12380/305852
- Ye, Q., Lu, M. (2021). s2p: Provenance Research for Stream Processing System. Applied Sciences, 11 (12), 5523. https://doi.org/10.3390/app11125523
- Räth, T., Schlegel, M., Sattler, K.-U. (2024). Everything Everyway All at Once – Time Traveling Debugging for Stream Processing Applications. 2024 IEEE 40th International Conference on Data Engineering (ICDE), 1606–1618. https://doi.org/10.1109/icde60146.2024.00131
- Goyal, A., Liu, J., Bates, A., Wang, G. (2024). ORCHID: Streaming threat detection over versioned provenance graphs. arXiv:2408.13347v1. https://doi.org/10.48550/arXiv.2408.13347
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2026 Roman Moravskyi, Yevheniya Levus
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.
