Платформа для інтеграції інструментів і сервісів оброблення метеоданих засобами штучного інтелекту

Автор(и)

  • Тетяна Петренко Український державний університет залізничного транспорту, Україна http://orcid.org/0000-0001-6305-7918
  • Антон Задорожний Український державний університет залізничного транспорту, Україна https://orcid.org/0009-0000-5044-6068

DOI:

https://doi.org/10.30837/2522-9818.2025.3.073

Ключові слова:

модель платформи прогнозування метеоумов; штучний інтелект; сервіси хмарних середовищ.

Анотація

Предметом дослідження є інструменти, сервіси та платформи забезпечення прогнозування локальних метеоумов. Процес прогнозування метеоумов за певною геолокацією доволі складний. Джерелами помилок прогнозування є об’єктивні причини, які є наслідками складності метеопроцесів, що взагалі існували завжди, а також суттєвих кліматичних змін через глобальне потепління. Використання моделей машинного та глибокого навчання (Machine Learning and Deep Learning, ML&DL) разом з уточненням результатів класичних фізичних моделей атмосфери – важливий крок підвищення точності моделей прогнозування. Моделі для прогнозування метеоумов стають усе більше гібридними, а інформація, що застосовується для навчання ML&DL-моделей, – усе більш різноманітною та має різні джерела походження. Для трансформації структурованих, неструктурованих та напівструктурованих метеоданих і прогнозування метеоумов використовуються потужні й не завжди безкоштовні середовища провідних розробників. Мета роботи – аналіз можливостей наявних платформ використання ML&DL-моделей для прогнозування метеоумов і створення платформи для прогнозування метеоумов, яка має гібридну полегшену архітектуру (Hybrid LightWeight Architecture, HLWA). Платформа на основі HLWA виконує такі завдання: розподілення етапів оброблення метеоданих між різними постачальниками інструментів і сервісів із хмарних середовищ, але водночас дає змогу інтегрувати ресурси та інструменти оброблення на одній платформі. Розгортання інструментів і сервісів підготовки метеоданих і прогнозування метеоумов у роботі пропонується на сервері AWS Lightsail з використанням Node-RED, MongoDB та AWS SageMaker AI. У статті впроваджено методи декомпозиції процесів прогнозування метеоумов. Результатом роботи є створення моделі платформи у вигляді UML-діаграми компонентів з уточненням властивостей кожного компонента платформи та інтерфейсів. Висновком статті є твердження, що застосування пропонованої платформи для дослідження гібридних моделей прогнозування метеоумов на основі ML&DL-моделей є зручним, економічним і перспективним рішенням.

Біографії авторів

Тетяна Петренко, Український державний університет залізничного транспорту

кандидат технічних наук, доцент, доцент кафедри інформаційних технологій, 

Антон Задорожний, Український державний університет залізничного транспорту

кандидат технічних наук, доцент, доцент кафедри інформаційних технологій

Посилання

Список літератури

Hersbach H. ERA5 atmospheric reanalysis. URL: https://climatedataguide.ucar.edu/climate-data/era5-atmospheric-reanalysis (дата звернення: 1.04.2025)

Beucler T. et al. Next-Generation Earth System Models: Towards Reliable Hybrid Models for Weather and Climate Applications. Atmospheric and Oceanic Physics. 2023. DOI: https://doi.org/10.48550/arXiv.2311.13691

Lopez N. Reanalysis Q&As. URL: https://climate.copernicus.eu/reanalysis-qas#:~:text=Reanalysis%2C%20on%20the%20other%20hand,where%20weather%20observations%20are%20missing (дата звернення: 1.04.2025)

Hersbach H. et al. The ERA5 global reanalysis. Quarterly Journal of the Royal Meteorological Society. 2020. No. 146 (730), P. 1999–2049. DOI: https://doi.org/10.1002/qj.3803

Bauer P. What if? Numerical weather prediction at the crossroads. Journal of the European Meteorological Society. 2024. No. 1. DOI: https://doi.org/10.1016/j.jemets.2024.100002

Redmon M. How Accurate Are Weather Forecasts? 5 Reasons for Inaccuracy. URL: https://tempest.earth/resources/how-accurate-are-weather-forecasts/#:~:text=It's%20accurate%20about%2090%25%20of,term%20planning%20and%20decision%2Dmaking (дата звернення: 19.01.2025)

Waqas M. et al. Artificial intelligence and numerical weather prediction models: A technical survey. Natural Hazards Research. 2024. DOI: https://doi.org/10.1016/j.nhres.2024.11.004

Willard J. et al. Integrating Physics-Based Modeling with Machine Learning: A Survey. Computational Physics. 2022. DOI: https://doi.org/10.48550/arXiv.2003.04919

Chen L. et al. Machine Learning Methods in Weather and Climate Applications: A Survey. Applied Sciences. 2023. No. 13. 12019 р. DOI: https://doi.org/10.3390/app132112019

The Ultimate Guide to Weather Forecast Models in 2025. URL: https://climavision.com/resources/the-ultimate-guide-to-weather-forecast-models/ (дата звернення: 1.04.2025)

Lam R. et al. Learning skillful medium-range global weather forecasting. Science. 2023. No. 382 (6677). P. 1416–1421. DOI: https://doi.org/10.1126/science.adi233

Zhang H. et al. Machine Learning Methods for Weather Forecasting: A Survey. Atmosphere. 2025. No. 16(1). 82 р. DOI: https://doi.org/10.3390/atmos16010082

Kochkov D. et al. Neural General Circulation Models for Weather and Climate. Nature. 2024. No. 632. P. 1060–1066. DOI: https://doi.org/10.1038/s41586-024-07744-y

Martorana F. et al. A new tool to process forecast meteorological data for atmospheric pollution dispersion simulations of accident scenarios: A Sicily-based case study. Journal of Sustainable Development of Energy, Water and Environment Systems. 2021. No. 9(3). 1080377 р. DOI: https://doi.org/10.13044/j.sdewes.d8.0377

Das S., Nayak P. Integration of IoT- AI powered local weather forecasting: A Game-Changer for Agriculture. Other Computer Science, 14 р. 2025. DOI: https://doi.org/10.48550/arXiv.2501.14754

European Centre for Medium-Range Weather Forecasts. URL: https://www.ecmwf.int/en/about (дата звернення: 1.04.2025)

National Oceanic and Atmospheric Administration. URL: https://www.noaa.gov/about-our-agency (дата звернення: 1.04.2025)

Top Websites Ranking. URL: https://www.similarweb.com/top-websites/science-and-education/weather/ (дата звернення: 1.04.2025)

Balabukh V. et al. Possible contamination of Ukraine and neighboring countries by Cs-137 due to a hypothetical accident at the Zaporizhzhia NPP as a consequence of the Russian aggression. European Geosciences Union General Assembly 2024 (EGU24), Vienna, Austria, 2024. URL: https://meetingorganizer.copernicus.org/EGU24/EGU24-10247.html (дата звернення: 1.04.2025)

Jaffri A. et al. Magic Quadrant for Data Science and Machine Learning Platforms. 2024. URL: https://www.gartner.com/doc/reprints?id=1-2HIEGHWG&ct=240508&st=sb&__hstc=&__hssc=&hsCtaTracking=b9f5a528-32c7-4b6e-8dce-c3d23844ba2f%7C08736e49-9973-4af1-b53e-3ba4c12dd1ff (дата звернення: 1.04.2025)

Patel B. 10 Best Machine Learning Platforms in 2025. 2025. URL: https://www.spaceotechnologies.com/blog/machine-learning-platforms/ (дата звернення: 1.04.2025)

Amazon's Free Virtual Cloud Server. URL: https://aws.amazon.com/free/compute/lightsail/ (дата звернення: 1.04.2025)

Demme M. Node-RED in a Unified Namespace Architecture. 2024. URL: https://flowfuse.com/blog/2024/02/node-red-unified-namespace-architecture/ (дата звернення: 1.04.2025)

Structured vs Unstructured Data: An Overview. URL: https://www.mongodb.com/resources/basics/unstructured-data/structured-vs-unstructured (дата звернення: 1.04.2025)

Amazon SageMaker AI. Guide to getting set up with Amazon SageMaker AI. URL: https://docs.aws.amazon.com/sagemaker/latest/dg/gs.html?icmpid=docs_sagemaker_lp/index.html (дата звернення: 1.04.2025)

References

Hersbach, H. "ERA5 atmospheric reanalysis", available at: https://climatedataguide.ucar.edu/climate-data/era5-atmospheric-reanalysis (last accessed: 1.04.25)

Beucler, T., Koch, E., Kotlarski, S., Leutwyler, D., Michel, A., Koh, J. (2023), "Next-Generation Earth System Models: Towards Reliable Hybrid Models for Weather and Climate Applications". Atmospheric and Oceanic Physics DOI: https://doi.org/10.48550/arXiv.2311.13691

Lopez, N. "Reanalysis Q&As", available at: https://climate.copernicus.eu/reanalysis-qas#:~:text=Reanalysis%2C%20on%20the%20other%20hand,where%20weather%20observations%20are%20missing (last accessed: 1.04.25)

Hersbach, H. et al. (2020), "The ERA5 global reanalysis", Qquarterly Journal of the Royal Meteorological Society, No. 146 (730), P. 1999-2049. DOI: https://doi.org/10.1002/qj.3803

Bauer, P., (2024), "What if? Numerical weather prediction at the crossroads", Journal of the European Meteorological Society, No.1. DOI: https://doi.org/10.1016/j.jemets.2024.100002

Redmon, M. "How Accurate Are Weather Forecasts? 5 Reasons For Inaccuracy", available at: https://tempest.earth/resources/how-accurate-are-weather-forecasts/#:~:text=It's%20accurate%20about%2090%25%20of,term%20planning%20and%20decision%2Dmaking (last accessed: 19.01.25)

Waqas, M., Humphries, U., Chueasa, B., Wangwongchai, A. (2024), "Artificial intelligence and numerical weather prediction models: A technical survey", Natural Hazards Research. DOI: https://doi.org/10.1016/j.nhres.2024.11.004

Willard, J., Jia, X., Xu, S., Steinbach, M., Kumar, V. (2022), "Integrating Physics-Based Modeling with Machine Learning: A Survey". Computational Physics. DOI: https://doi.org/10.48550/arXiv.2003.04919

Chen, L., Han, B., Wang, X., Zhao, J.; Yang, W.; Yang, Z. (2023), "Machine Learning Methods in Weather and Climate Applications: A Survey", Applied Sciences, No. 13, 12019 р. DOI: https://doi.org/10.3390/app132112019

"The Ultimate Guide to Weather Forecast Models in 2025", available at: https://climavision.com/resources/the-ultimate-guide-to-weather-forecast-models/ (last accessed: 1.04.25)

Lam, R. et al. (2023), "Learning skillful medium-range global weather forecasting", Science, No. 382 (6677), P. 1416–1421. DOI: https://doi.org/10.1126/science.adi233

Zhang, H., Liu, Y., Zhang, C., Li, N. (2025), "Machine Learning Methods for Weather Forecasting: A Survey", Atmosphere, No. 16(1), 82 р. DOI: https://doi.org/10.3390/atmos16010082

Kochkov, D. et al. (2024), "Neural General Circulation Models for Weather and Climate", Nature, No. 632, P. 1060–1066. DOI: https://doi.org/10.1038/s41586-024-07744-y

Martorana, F., Giardina, M., Buffa, P., Beccali, M., Zammuto, C. (2021), "A new tool to process forecast meteorological data for atmospheric pollution dispersion simulations of accident scenarios: A Sicily-based case study", Journal of Sustainable Development of Energy, Water and Environment Systems, No. 9(3), 1080377 р. DOI: https://doi.org/10.13044/j.sdewes.d8.0377

Das, S., Nayak, P. (2025), "Integration of IoT- AI powered local weather forecasting: A Game-Changer for Agriculture". Other Computer Science, 14 р. DOI: https://doi.org/10.48550/arXiv.2501.14754

"European Centre for Medium-Range Weather Forecasts", available at: https://www.ecmwf.int/en/about (last accessed: 1.04.2025)

"National Oceanic and Atmospheric Administration", available at: https://www.noaa.gov/about-our-agency (last accessed: 1.04.2025)

"Top Websites Ranking", available at: https://www.similarweb.com/top-websites/science-and-education/weather/ (last accessed: 1.04.25)

Balabukh, V., Skrynyk, O., Sergiy Bubin, S., Laptev, G. (2024), "Possible contamination of Ukraine and neighboring countries by Cs-137 due to a hypothetical accident at the Zaporizhzhia NPP as a consequence of the Russian aggression", European Geosciences Union General Assembly 2024 (EGU24), Vienna, Austria, Apr. 14-19, available at: https://meetingorganizer.copernicus.org/EGU24/EGU24-10247.html (last accessed: 1.04.2025)

Jaffri, A., Popa, A., Krensky, P., Hare, J., Bhati, R., Hassanlou, M., Zhang, T. (2024), "Magic Quadrant for Data Science and Machine Learning Platforms", available at: https://www.gartner.com/doc/reprints?id=1-2HIEGHWG&ct=240508&st=sb&__hstc=&__hssc=&hsCtaTracking=b9f5a528-32c7-4b6e-8dce-c3d23844ba2f%7C08736e49-9973-4af1-b53e-3ba4c12dd1ff (last accessed: 1.04.25)

Patel, B. (2025), "10 Best Machine Learning Platforms in 2025", available at: https://www.spaceotechnologies.com/blog/machine-learning-platforms/ (last accessed: 1.04.25)

"Amazon's Free Virtual Cloud Server", available at: https://aws.amazon.com/free/compute/lightsail/ (last accessed: 1.04.25)

Demme, M., (2024), "Node-RED in a Unified Namespace Architecture", available at: https://flowfuse.com/blog/2024/02/node-red-unified-namespace-architecture/ (last accessed: 1.04.25)

"Structured vs Unstructured Data: An Overview", available at: https://www.mongodb.com/resources/basics/unstructured-data/structured-vs-unstructured (Last accessed: 1.04.2025)

"Amazon SageMaker AI. Guide to getting set up with Amazon SageMaker AI", available at: https://docs.aws.amazon.com/sagemaker/latest/dg/gs.html?icmpid=docs_sagemaker_lp/index.html (last accessed: 1.04.25)

##submission.downloads##

Опубліковано

2025-09-25

Як цитувати

Петренко, Т., & Задорожний, А. (2025). Платформа для інтеграції інструментів і сервісів оброблення метеоданих засобами штучного інтелекту. СУЧАСНИЙ СТАН НАУКОВИХ ДОСЛІДЖЕНЬ ТА ТЕХНОЛОГІЙ В ПРОМИСЛОВОСТІ, (3(33), 73–87. https://doi.org/10.30837/2522-9818.2025.3.073