Платформа для інтеграції інструментів і сервісів оброблення метеоданих засобами штучного інтелекту
DOI:
https://doi.org/10.30837/2522-9818.2025.3.073Ключові слова:
модель платформи прогнозування метеоумов; штучний інтелект; сервіси хмарних середовищ.Анотація
Предметом дослідження є інструменти, сервіси та платформи забезпечення прогнозування локальних метеоумов. Процес прогнозування метеоумов за певною геолокацією доволі складний. Джерелами помилок прогнозування є об’єктивні причини, які є наслідками складності метеопроцесів, що взагалі існували завжди, а також суттєвих кліматичних змін через глобальне потепління. Використання моделей машинного та глибокого навчання (Machine Learning and Deep Learning, ML&DL) разом з уточненням результатів класичних фізичних моделей атмосфери – важливий крок підвищення точності моделей прогнозування. Моделі для прогнозування метеоумов стають усе більше гібридними, а інформація, що застосовується для навчання ML&DL-моделей, – усе більш різноманітною та має різні джерела походження. Для трансформації структурованих, неструктурованих та напівструктурованих метеоданих і прогнозування метеоумов використовуються потужні й не завжди безкоштовні середовища провідних розробників. Мета роботи – аналіз можливостей наявних платформ використання ML&DL-моделей для прогнозування метеоумов і створення платформи для прогнозування метеоумов, яка має гібридну полегшену архітектуру (Hybrid LightWeight Architecture, HLWA). Платформа на основі HLWA виконує такі завдання: розподілення етапів оброблення метеоданих між різними постачальниками інструментів і сервісів із хмарних середовищ, але водночас дає змогу інтегрувати ресурси та інструменти оброблення на одній платформі. Розгортання інструментів і сервісів підготовки метеоданих і прогнозування метеоумов у роботі пропонується на сервері AWS Lightsail з використанням Node-RED, MongoDB та AWS SageMaker AI. У статті впроваджено методи декомпозиції процесів прогнозування метеоумов. Результатом роботи є створення моделі платформи у вигляді UML-діаграми компонентів з уточненням властивостей кожного компонента платформи та інтерфейсів. Висновком статті є твердження, що застосування пропонованої платформи для дослідження гібридних моделей прогнозування метеоумов на основі ML&DL-моделей є зручним, економічним і перспективним рішенням.
Посилання
Список літератури
Hersbach H. ERA5 atmospheric reanalysis. URL: https://climatedataguide.ucar.edu/climate-data/era5-atmospheric-reanalysis (дата звернення: 1.04.2025)
Beucler T. et al. Next-Generation Earth System Models: Towards Reliable Hybrid Models for Weather and Climate Applications. Atmospheric and Oceanic Physics. 2023. DOI: https://doi.org/10.48550/arXiv.2311.13691
Lopez N. Reanalysis Q&As. URL: https://climate.copernicus.eu/reanalysis-qas#:~:text=Reanalysis%2C%20on%20the%20other%20hand,where%20weather%20observations%20are%20missing (дата звернення: 1.04.2025)
Hersbach H. et al. The ERA5 global reanalysis. Quarterly Journal of the Royal Meteorological Society. 2020. No. 146 (730), P. 1999–2049. DOI: https://doi.org/10.1002/qj.3803
Bauer P. What if? Numerical weather prediction at the crossroads. Journal of the European Meteorological Society. 2024. No. 1. DOI: https://doi.org/10.1016/j.jemets.2024.100002
Redmon M. How Accurate Are Weather Forecasts? 5 Reasons for Inaccuracy. URL: https://tempest.earth/resources/how-accurate-are-weather-forecasts/#:~:text=It's%20accurate%20about%2090%25%20of,term%20planning%20and%20decision%2Dmaking (дата звернення: 19.01.2025)
Waqas M. et al. Artificial intelligence and numerical weather prediction models: A technical survey. Natural Hazards Research. 2024. DOI: https://doi.org/10.1016/j.nhres.2024.11.004
Willard J. et al. Integrating Physics-Based Modeling with Machine Learning: A Survey. Computational Physics. 2022. DOI: https://doi.org/10.48550/arXiv.2003.04919
Chen L. et al. Machine Learning Methods in Weather and Climate Applications: A Survey. Applied Sciences. 2023. No. 13. 12019 р. DOI: https://doi.org/10.3390/app132112019
The Ultimate Guide to Weather Forecast Models in 2025. URL: https://climavision.com/resources/the-ultimate-guide-to-weather-forecast-models/ (дата звернення: 1.04.2025)
Lam R. et al. Learning skillful medium-range global weather forecasting. Science. 2023. No. 382 (6677). P. 1416–1421. DOI: https://doi.org/10.1126/science.adi233
Zhang H. et al. Machine Learning Methods for Weather Forecasting: A Survey. Atmosphere. 2025. No. 16(1). 82 р. DOI: https://doi.org/10.3390/atmos16010082
Kochkov D. et al. Neural General Circulation Models for Weather and Climate. Nature. 2024. No. 632. P. 1060–1066. DOI: https://doi.org/10.1038/s41586-024-07744-y
Martorana F. et al. A new tool to process forecast meteorological data for atmospheric pollution dispersion simulations of accident scenarios: A Sicily-based case study. Journal of Sustainable Development of Energy, Water and Environment Systems. 2021. No. 9(3). 1080377 р. DOI: https://doi.org/10.13044/j.sdewes.d8.0377
Das S., Nayak P. Integration of IoT- AI powered local weather forecasting: A Game-Changer for Agriculture. Other Computer Science, 14 р. 2025. DOI: https://doi.org/10.48550/arXiv.2501.14754
European Centre for Medium-Range Weather Forecasts. URL: https://www.ecmwf.int/en/about (дата звернення: 1.04.2025)
National Oceanic and Atmospheric Administration. URL: https://www.noaa.gov/about-our-agency (дата звернення: 1.04.2025)
Top Websites Ranking. URL: https://www.similarweb.com/top-websites/science-and-education/weather/ (дата звернення: 1.04.2025)
Balabukh V. et al. Possible contamination of Ukraine and neighboring countries by Cs-137 due to a hypothetical accident at the Zaporizhzhia NPP as a consequence of the Russian aggression. European Geosciences Union General Assembly 2024 (EGU24), Vienna, Austria, 2024. URL: https://meetingorganizer.copernicus.org/EGU24/EGU24-10247.html (дата звернення: 1.04.2025)
Jaffri A. et al. Magic Quadrant for Data Science and Machine Learning Platforms. 2024. URL: https://www.gartner.com/doc/reprints?id=1-2HIEGHWG&ct=240508&st=sb&__hstc=&__hssc=&hsCtaTracking=b9f5a528-32c7-4b6e-8dce-c3d23844ba2f%7C08736e49-9973-4af1-b53e-3ba4c12dd1ff (дата звернення: 1.04.2025)
Patel B. 10 Best Machine Learning Platforms in 2025. 2025. URL: https://www.spaceotechnologies.com/blog/machine-learning-platforms/ (дата звернення: 1.04.2025)
Amazon's Free Virtual Cloud Server. URL: https://aws.amazon.com/free/compute/lightsail/ (дата звернення: 1.04.2025)
Demme M. Node-RED in a Unified Namespace Architecture. 2024. URL: https://flowfuse.com/blog/2024/02/node-red-unified-namespace-architecture/ (дата звернення: 1.04.2025)
Structured vs Unstructured Data: An Overview. URL: https://www.mongodb.com/resources/basics/unstructured-data/structured-vs-unstructured (дата звернення: 1.04.2025)
Amazon SageMaker AI. Guide to getting set up with Amazon SageMaker AI. URL: https://docs.aws.amazon.com/sagemaker/latest/dg/gs.html?icmpid=docs_sagemaker_lp/index.html (дата звернення: 1.04.2025)
References
Hersbach, H. "ERA5 atmospheric reanalysis", available at: https://climatedataguide.ucar.edu/climate-data/era5-atmospheric-reanalysis (last accessed: 1.04.25)
Beucler, T., Koch, E., Kotlarski, S., Leutwyler, D., Michel, A., Koh, J. (2023), "Next-Generation Earth System Models: Towards Reliable Hybrid Models for Weather and Climate Applications". Atmospheric and Oceanic Physics DOI: https://doi.org/10.48550/arXiv.2311.13691
Lopez, N. "Reanalysis Q&As", available at: https://climate.copernicus.eu/reanalysis-qas#:~:text=Reanalysis%2C%20on%20the%20other%20hand,where%20weather%20observations%20are%20missing (last accessed: 1.04.25)
Hersbach, H. et al. (2020), "The ERA5 global reanalysis", Qquarterly Journal of the Royal Meteorological Society, No. 146 (730), P. 1999-2049. DOI: https://doi.org/10.1002/qj.3803
Bauer, P., (2024), "What if? Numerical weather prediction at the crossroads", Journal of the European Meteorological Society, No.1. DOI: https://doi.org/10.1016/j.jemets.2024.100002
Redmon, M. "How Accurate Are Weather Forecasts? 5 Reasons For Inaccuracy", available at: https://tempest.earth/resources/how-accurate-are-weather-forecasts/#:~:text=It's%20accurate%20about%2090%25%20of,term%20planning%20and%20decision%2Dmaking (last accessed: 19.01.25)
Waqas, M., Humphries, U., Chueasa, B., Wangwongchai, A. (2024), "Artificial intelligence and numerical weather prediction models: A technical survey", Natural Hazards Research. DOI: https://doi.org/10.1016/j.nhres.2024.11.004
Willard, J., Jia, X., Xu, S., Steinbach, M., Kumar, V. (2022), "Integrating Physics-Based Modeling with Machine Learning: A Survey". Computational Physics. DOI: https://doi.org/10.48550/arXiv.2003.04919
Chen, L., Han, B., Wang, X., Zhao, J.; Yang, W.; Yang, Z. (2023), "Machine Learning Methods in Weather and Climate Applications: A Survey", Applied Sciences, No. 13, 12019 р. DOI: https://doi.org/10.3390/app132112019
"The Ultimate Guide to Weather Forecast Models in 2025", available at: https://climavision.com/resources/the-ultimate-guide-to-weather-forecast-models/ (last accessed: 1.04.25)
Lam, R. et al. (2023), "Learning skillful medium-range global weather forecasting", Science, No. 382 (6677), P. 1416–1421. DOI: https://doi.org/10.1126/science.adi233
Zhang, H., Liu, Y., Zhang, C., Li, N. (2025), "Machine Learning Methods for Weather Forecasting: A Survey", Atmosphere, No. 16(1), 82 р. DOI: https://doi.org/10.3390/atmos16010082
Kochkov, D. et al. (2024), "Neural General Circulation Models for Weather and Climate", Nature, No. 632, P. 1060–1066. DOI: https://doi.org/10.1038/s41586-024-07744-y
Martorana, F., Giardina, M., Buffa, P., Beccali, M., Zammuto, C. (2021), "A new tool to process forecast meteorological data for atmospheric pollution dispersion simulations of accident scenarios: A Sicily-based case study", Journal of Sustainable Development of Energy, Water and Environment Systems, No. 9(3), 1080377 р. DOI: https://doi.org/10.13044/j.sdewes.d8.0377
Das, S., Nayak, P. (2025), "Integration of IoT- AI powered local weather forecasting: A Game-Changer for Agriculture". Other Computer Science, 14 р. DOI: https://doi.org/10.48550/arXiv.2501.14754
"European Centre for Medium-Range Weather Forecasts", available at: https://www.ecmwf.int/en/about (last accessed: 1.04.2025)
"National Oceanic and Atmospheric Administration", available at: https://www.noaa.gov/about-our-agency (last accessed: 1.04.2025)
"Top Websites Ranking", available at: https://www.similarweb.com/top-websites/science-and-education/weather/ (last accessed: 1.04.25)
Balabukh, V., Skrynyk, O., Sergiy Bubin, S., Laptev, G. (2024), "Possible contamination of Ukraine and neighboring countries by Cs-137 due to a hypothetical accident at the Zaporizhzhia NPP as a consequence of the Russian aggression", European Geosciences Union General Assembly 2024 (EGU24), Vienna, Austria, Apr. 14-19, available at: https://meetingorganizer.copernicus.org/EGU24/EGU24-10247.html (last accessed: 1.04.2025)
Jaffri, A., Popa, A., Krensky, P., Hare, J., Bhati, R., Hassanlou, M., Zhang, T. (2024), "Magic Quadrant for Data Science and Machine Learning Platforms", available at: https://www.gartner.com/doc/reprints?id=1-2HIEGHWG&ct=240508&st=sb&__hstc=&__hssc=&hsCtaTracking=b9f5a528-32c7-4b6e-8dce-c3d23844ba2f%7C08736e49-9973-4af1-b53e-3ba4c12dd1ff (last accessed: 1.04.25)
Patel, B. (2025), "10 Best Machine Learning Platforms in 2025", available at: https://www.spaceotechnologies.com/blog/machine-learning-platforms/ (last accessed: 1.04.25)
"Amazon's Free Virtual Cloud Server", available at: https://aws.amazon.com/free/compute/lightsail/ (last accessed: 1.04.25)
Demme, M., (2024), "Node-RED in a Unified Namespace Architecture", available at: https://flowfuse.com/blog/2024/02/node-red-unified-namespace-architecture/ (last accessed: 1.04.25)
"Structured vs Unstructured Data: An Overview", available at: https://www.mongodb.com/resources/basics/unstructured-data/structured-vs-unstructured (Last accessed: 1.04.2025)
"Amazon SageMaker AI. Guide to getting set up with Amazon SageMaker AI", available at: https://docs.aws.amazon.com/sagemaker/latest/dg/gs.html?icmpid=docs_sagemaker_lp/index.html (last accessed: 1.04.25)
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія

Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Наше видання використовує положення про авторські права Creative Commons для журналів відкритого доступу.
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:
Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License (CC BY-NC-SA 4.0), котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
Автори мають право укладати самостійні додаткові угоди щодо не комерційного та не ексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису опублікованої роботи, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи.












