Проектування та реалізація розподіленої системи з використанням оркестратору на базі парадигми потоків даних

Анотація

Об’єктом дослідження даної роботи є розподілені системи під управлінням оркестратору на базі парадигми керування потоками даних, а також методи управління мікросервісами. Одним з найбільш проблемних місць сучасних розподілених систем є вибір методу управління логікою роботи мікросервісів та процесами взаємодії між ними. Існуючі концепції оркестрації та хореографії мікросервісів не дозволяють в повній мірі ефективно використовувати та розподіляти навантаження рівномірно по всій системі, що пов’язано у першу чергу з наявністю гетерогенного характеру розподіленого середовища.

В рамках дослідження пропонується концепція гібридної оркестрації на основі парадигми керування потоками даних. Даний підхід дозволяє використовувати оркестратор лише для ініціації «хвилі» обчислень по дереву мікросервісів, а за подальше обчислення та розповсюдження даних несуть відповідальність самі мікросервіси. Даний підхід, на відміну від інших, поєднав у собі більш оптимальні якості оркестрації: просте та зрозуміле, на кожному етапі обчислення, управління системою, координованість дій мікросервісів. Також, використання спеціалізованого гібридного оркестратора усунуло один з головних недоліків, а саме – зменшило відповідальність та кількість обчислювального навантаження, покладених на оркестратор розподіленої системи, та вузли обчислень. В результаті проведення експерименту з використанням розподіленої системи з оркестратором на базі парадигми керування потоками даних було досягнуто зменшення у кілька разів навантаження на сам оркестратор. Це дало можливість використовувати мікроконтролери типу ESP8266, ESP32, Raspberry Pi у якості розподіленої системи. Такі мікроконтролери можуть виступати не тільки оркестраторами, але й вузлами обчислень (dataflow nodes). У той же час, парадигма управління потоками даних дозволяє рівномірно та максимально ефективно розподіляти навантаження по системі за рахунок того, що вхідні дані системи подаються у вигляді обчислювального графу, де кожен вузол представляє собою окремий мікросервіс.