Зважена метрика чутливості для прогнозування затримки в KAFKA-кластері
DOI:
https://doi.org/10.30837/2522-9818.2025.3.152Ключові слова:
метод Морріса; індекс Соболя; евклідова відстань; хеллінгерова відстань; J-дивергенція; аналіз чутливості.Анотація
Предметом дослідження є комбінований підхід до аналізу чутливості для комплексного оцінювання впливу конфігураційних параметрів Kafka-кластера на кінцеву затримку в системах потокового оброблення інформації. Мета роботи – розроблення нового підходу до аналізу чутливості, що поєднує класичні методи оцінювання впливу параметрів (методи Морріса та Соболя) з метриками, що відтворюють структурні зміни розподілу вихідних даних (евклідова відстань, хеллінгерова відстань, J-дивергенція). Такий підхід дає змогу дослідити вплив параметра не лише з погляду амплітуди його ефекту, а й щодо змін у формі та структурі ймовірнісного розподілу результатів. Для досягнення мети розв’язуються такі завдання: формальне визначення нового підходу до аналізу чутливості; розроблення мережі Баєса для моделювання наскрізної затримки Kafka‑кластера; аналіз чутливості за запропонованим підходом; експериментальне дослідження нового підходу з використанням розрахованих відповідно до нього ваг впливу для ініціалізації матриці ваг нейронної мережі, що прогнозує наскрізну затримку в Kafka-кластері залежно від обраної конфігурації. Для реалізації поставлених завдань у дослідженні впроваджено такі методи: теорія експериментів, евклідова геометрія, статистична теорія розподілів, інформаційна теорія, теорія машинного навчання, баєсівська статистика й теорія графів. Досягнуті результати. Для оцінювання ефективності підходу проведено порівняльне навчання нейронної мережі з різними стратегіями ініціалізації ваг. Аналіз функції витрат, побудованої за критерієм мінімізації середньоквадратичної похибки, продемонстрував, що найменших значень вона досягає саме для моделі, яка була ініціалізована вагами, отриманими за запропонованим підходом до оцінювання впливу параметрів на вихідну змінну моделі. Висновки. У дослідженні запропоновано новий підхід до аналізу чутливості. Новизна підходу полягає в інтеграції переваг як причинно-орієнтованих, так і дисперсійно-оцінних методів у межах єдиної зваженої метрики чутливості. Практична цінність підходу полягає в тому, що його застосування під час аналізу чутливості або ініціалізації матриці ваг нейронної мережі дає змогу підвищити точність оцінювання впливу параметрів, покращити збіжність моделі та скоротити час її навчання.
Посилання
Список літератури
Solovei O., Honcharenko T., Fesan A. "Technologies to manager big data of urban building projects", Management of Development of Complex Systems, No. 60, Р.121–128, 2024. DOI: 10.32347/2412-9933.2024.60.121-128
Narkhede, M. V., Bartakke, P. P., Sutaone, M. S. "A review on weight initialization strategies for neural networks", Artificial intelligence review, No. 55(1), Р. 291-322. 2022. DOI: 10.1007/s10462-021-10033-z
Wong, K., Dornberger, R., Hanne, T. "An analysis of weight initialization methods in connection with different activation functions for feedforward neural networks", Evolutionary Intelligence, No. 17(3), Р.2081-2089, 2024. DOI: 10.1007/s12065-022-00795-y
Brand J.E., Zhou X., Xie Y. "Recent developments in causal inference and machine learning", Annual Review of Sociology, No. 49 (1), Р. 81-110. 2023. DOI: 10.1146/annurev-soc-030420-015345
Chumachenko K., Iosifidis A., and Gabbouj M. "Feedforward neural networks initialization based on discriminant learning", Neural Networks, No. 146, Р. 220-229. 2022. DOI: 10.1016/j.neunet.2021.11.020
Zhao J., Schäfer F., and Anandkumar A. "Zero initialization: Initializing neural networks with only zeros and ones", Published in Transactions on Machine Learning Research, № 11. 2021. URL: arXiv preprint arXiv:2110.12661
Pan Y., Wang C., Wu Z., Wang Q., Zhang M., and Xu Z. "IDInit: A Universal and Stable Initialization Method for Neural Network Training", 2025. URL: arXiv preprint arXiv:2503.04626
Zhu C., Ni R., Xu Z., Kong K., Huang W. R., and Goldstein T. "Gradinit: Learning to initialize neural networks for stable and efficient training", Advances in Neural Information Processing Systems, No. 34, Р.16410-16422. 2021. DOI: https://doi.org/10.3390/app15042008
Nouri A., van Treeck C., & Frisch J. "Sensitivity Assessment of Building Energy Performance Simulations Using MARS Meta-Modeling in Combination with Sobol’Method", Energies, No. 17(3), 695 р. 2024. DOI: https://doi.org/10.3390/en17030695
Sadeghi Z., Matwin S. "A Review of Global Sensitivity Analysis Methods and a comparative case study on Digit Classification". 2024. URL: arXiv preprint arXiv:2406.16975
Mazo G., Tournier L. "An inference method for global sensitivity analysis", Technometrics, No. 67(2), Р. 270-282. 2025.
Kozniewski M., Kolendo Ł., Chmur S., Ksepko M. "Impact of Parameters and Tree Stand Features on Accuracy of Watershed-Based Individual Tree Crown Detection Method Using ALS Data in Coniferous Forests from North-Eastern Poland", Remote Sensing, No. 17(4), 575 р. 2025. DOI: https://doi.org/10.3390/rs17040575
Kaddoura M., Majeau-Bettez G., Amor B., & Margni M. "Global sensitivity analysis reduces data collection efforts in LCA: A comparison between two additive manufacturing technologies", Science of the Total Environment, No. 975, 179269 р. 2025. DOI: https://doi.org/10.1016/j.scitotenv.2025.179269
Raptis T. P., Passarella A. "A survey on networked data streaming with apache kafka", IEEE Access, No. 11, P. 85333-85350. 2023. DOI: 10.1109/ACCESS.2023.3303810
Kafka Producer Configuration Reference for Confluent Platform. URL: https://docs.confluent.io/platform/current/installation/configuration/producer-configs.html.
Wang J., Chen Z., Song Y., Liu Y., He J., Ma S. "Data-Driven Dynamic Bayesian Network Model for Safety Resilience Evaluation of Prefabricated Building Construction", Buildings, No. 14, 570 р. 2024. DOI: 10.3390/buildings14030570
Echabarri S., Do P, Vu H., Bornand B. "Machine learning and Bayesian optimization for performance prediction of proton-exchange membrane fuel cells", Energy and AI, No. 17, 100380 р. DOI: https://doi.org/10.1016/j.egyai.2024.100380
References
Solovei, O., Honcharenko, T., Fesan, A. (2024), "Technologies to manager big data of urban building projects", Management of Development of Complex Systems, No. 60, Р.121–128, DOI: 10.32347/2412-9933.2024.60.121-128
Narkhede, M. V., Bartakke, P. P., Sutaone, M. S. (2022), "A review on weight initialization strategies for neural networks", Artificial intelligence review, No. 55(1), P. 291-322. DOI: 10.1007/s10462-021-10033-z
Wong, K., Dornberger, R., Hanne, T. (2024), "An analysis of weight initialization methods in connection with different activation functions for feedforward neural networks", Evolutionary Intelligence, No. 17(3), P.2081-2089, DOI: 10.1007/s12065-022-00795-y
Brand, J.E., Zhou, X., Xie, Y. (2023), "Recent developments in causal inference and machine learning", Annual Review of Sociology, No. 49 (1), Р. 81-110. DOI: 10.1146/annurev-soc-030420-015345
Chumachenko, K., Iosifidis, A., Gabbouj, M. (2022), "Feedforward neural networks initialization based on discriminant learning", Neural Networks, No. 146, P. 220-229. DOI: 10.1016/j.neunet.2021.11.020
Zhao, J., Schäfer, F., Anandkumar, A. (2021), "Zero initialization: Initializing neural networks with only zeros and ones", Published in Transactions on Machine Learning Research, № 11. available at: arXiv preprint arXiv:2110.12661
Pan, Y., Wang, C., Wu, Z., Wang, Q., Zhang, M., Xu, Z. (2025), "IDInit: A Universal and Stable Initialization Method for Neural Network Training", available at: arXiv preprint arXiv:2503.04626
Zhu, C., Ni, R., Xu, Z., Kong, K., Huang, W. R., Goldstein, T. (2021), "Gradinit: Learning to initialize neural networks for stable and efficient training", Advances in Neural Information Processing Systems, No. 34, Р.16410-16422. DOI: https://doi.org/10.3390/app15042008
Nouri, A., van Treeck, C., Frisch, J. (2024), "Sensitivity Assessment of Building Energy Performance Simulations Using MARS Meta-Modeling in Combination with Sobol’Method", Energies, No. 17(3), 695 р. DOI: https://doi.org/10.3390/en17030695
Sadeghi, Z., Matwin, S. (2024), "A Review of Global Sensitivity Analysis Methods and a comparative case study on Digit Classification". available at: arXiv preprint arXiv:2406.16975
Mazo, G., Tournier, L. (2025), "An inference method for global sensitivity analysis", Technometrics, No. 67(2), P. 270-282.
Kozniewski, M., Kolendo, Ł., Chmur, S., Ksepko, M. (2025), "Impact of Parameters and Tree Stand Features on Accuracy of Watershed-Based Individual Tree Crown Detection Method Using ALS Data in Coniferous Forests from North-Eastern Poland", Remote Sensing, No. 17(4), 575 р. DOI: https://doi.org/10.3390/rs17040575
Kaddoura, M., Majeau-Bettez, G., Amor, B., Margni, M. (2025), "Global sensitivity analysis reduces data collection efforts in LCA: A comparison between two additive manufacturing technologies”, Science of the Total Environment, No. 975, 179269 р. DOI: https://doi.org/10.1016/j.scitotenv.2025.179269
Raptis, T. P., Passarella, A. (2023), "A survey on networked data streaming with apache kafka", IEEE Access, No. 11, P. 85333-85350. DOI: 10.1109/ACCESS.2023.3303810
"Kafka Producer Configuration Reference for Confluent Platform". available at: https://docs.confluent.io/platform/current/installation/configuration/producer-configs.html.
Wang, J., Chen, Z., Song, Y., Liu, Y., He, J., Ma S. (2024), "Data-Driven Dynamic Bayesian Network Model for Safety Resilience Evaluation of Prefabricated Building Construction", Buildings, No. 14, 570 р. DOI: 10.3390/buildings14030570
Echabarri, S., Do, P, Vu, H., Bornand, B. (2024), "Machine learning and Bayesian optimization for performance prediction of proton-exchange membrane fuel cells", Energy and AI, No. 17, 100380 р. DOI: https://doi.org/10.1016/j.egyai.2024.100380
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Наше видання використовує положення про авторські права Creative Commons для журналів відкритого доступу.
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:
Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License (CC BY-NC-SA 4.0), котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
Автори мають право укладати самостійні додаткові угоди щодо не комерційного та не ексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису опублікованої роботи, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи.
