Вплив механізму прямого пошуку повідомлень на базі TCP-протоколів на процес їх обміну
DOI:
https://doi.org/10.15587/1729-4061.2019.167995Ключові слова:
ТСР-сокети, пошук повідомлення, розширення інтерфейсу, продуктивністьАнотація
Реалізовано механізм прямого пошуку з розширенням традиційного сокетного TCP-інтерфейсу для отримання повідомлень, обходячи традиційний порядок встановленої черги. Даний механізм може застосовуватись для високопродуктивних та кластерних комп’ютерних систем з метою інтенсифікації обміну даними та неперервності підтримки максимального навантаження на обчислювальні машини. Інтерфейс для прямого пошуку повідомлень реалізований на базі ядра операційної системи Linux. Отримання експериментальних результатів тестування здійснено за допомогою простого набору microbenchmark-міток. В ході тестування відправник надсилає необхідне число повідомлень сталого розміру на встановлене з’єднання, а приймач пропускає неочікувані повідомлення і зчитує очікувані повідомлення в простір користувача. Спосіб відшукання очікуваних повідомлень реалізований завдяки багаторазовому пошуку для випадку, коли сокетний додаток розглядає TCP-сокет як список повідомлень з можливістю приймати і видаляти дані не тільки з вершини, але з будь-якого місця в сокетному буфері. Всі очікувані повідомлення розпізнаються і обробляються розробленим викликом seek_recv(). Кожен тест містить ~80 повторень, які включають операції відкриття сокета, пересилання 800–1000 повідомлень відповідно до політики прийому і закриття сокета. Система використовує тільки один активний сокет в один і той же час.
Отримані результати доводять помітне зниження процесорного часу обробки повідомлень на 36–40 % та загальне зростання продуктивності. Однак, при наближенні до об’єму повідомлень 1000 байт, близького до характерного розміру корисного завантаження TCP-пакета, спостерігається падіння продуктивності процесу обміну
Посилання
- Beynon, M. D., Kurc, T., Catalyurek, U., Chang, C., Sussman, A., Saltz, J. (2001). Distributed processing of very large datasets with DataCutter. Parallel Computing, 27 (11), 1457–1578. doi: https://doi.org/10.1016/s0167-8191(01)00099-0
- Carns, P., Lang, S., Ross, R., Vilayannur, M., Kunkel, J., Ludwig, T. (2009). Small-file access in parallel file systems. 2009 IEEE International Symposium on Parallel & Distributed Processing. doi: https://doi.org/10.1109/ipdps.2009.5161029
- Pasquier, T. F. J.-M., Singh, J., Bacon, J., Hermant, O. (2015). Managing Big Data with Information Flow Control. Available at: http://tfjmp.org/files/publications/cloud-2015.pdf
- Melnyk, V. M., Bahniuk, N. V., Melnyk, K. V. (2015). Influence of high performance sockets on data processing intensity. ScienceRise, 6 (2 (11)), 38–48. doi: https://doi.org/10.15587/2313-8416.2015.44380
- Infiniband Trade Association. Available at: http://www.infinibandta.org
- Hoefler, T., Mehlan, T., Lumsdaine, A., Rehm, W. (2007). Netgauge: A Network Performance Measurement Framework. High Performance Computing and Communications, 659–671. doi: https://doi.org/10.1007/978-3-540-75444-2_62
- Majumder, S., Rixner, S., Pai, V. S. (2010). An Event-driven Architecture for MPI Libraries. In Proceedings of the 2010 Los Alamos Computer Science Institute Symposium. Available at: https://vjpai.github.io/Publications/majumder-lacsi04.pdf
- Gilfeather, P., Maccab, A. B. An Extensible Message-Oriented Offload Model for High-Performance Applications. Los Alamos Computer Science Institute SC R71700H29200001. Available at: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.217.1085&rep=rep1&type=pdf
- Veeraraghavan, M., Jukan, A. (2010). A hybrid networking architecture. University of Virginia. Available at: https://pdfs.semanticscholar.org/62bb/a7fcb0e97adbf623a569c160d20843022b08.pdf
- Aydin, S., Bay, O. F. (2009). Building a high performance computing clusters to use in computing course applications. Procedia – Social and Behavioral Sciences, 1 (1), 2396–2401. doi: https://doi.org/10.1016/j.sbspro.2009.01.420
- Pratt, I., Fraser, K. (2001). Arsenic: a user-accessible gigabit Ethernet interface. Proceedings IEEE INFOCOM 2001. Conference on Computer Communications. Twentieth Annual Joint Conference of the IEEE Computer and Communications Society (Cat. No.01CH37213). doi: https://doi.org/10.1109/infcom.2001.916688
- Fenech, K. (2005). Low-latency inter-thread communication over Gigabit Ethernet. University of Malta, 180. Available at: http://citeseerx.ist.psu.edu/viewdoc/download?DOI=10.1.1.192.2018&rep=rep1&type=pdf
- Ethernet Networking Interface (2019). Techopedia. Available at: https://www.techopedia.com/definition/24959/ethernet-networking-interface
- Stewart, R., Xie, Q., Morneault, K., Sharp, C., Schwarzbauer, H., Taylor, T. et. al. (2000). Stream Control Transmission Protocol. doi: https://doi.org/10.17487/rfc2960
- Stewart, R., Xie, Q., Yarroll, L., Wood, J., Poon, K., Tuexen, M. (2005). Sockets API Extensions for Stream Control Transmission Protocol (SCTP). IETF Internet Draft. Available at: https://tools.ietf.org/pdf/draft-ietf-tsvwg-sctpsocket-06.pdf
- Melnyk, V. (2017). Modeling of the messages search mechanism in the messaging process on basis of TCP protocols. Naukovyi zhurnal "Kompiuterno-intehrovani tekhnolohiyi: osvita, nauka, vyrobnytstvo", 28-29, 20–24.
- Liyanage, M., Ylianttila, M., Gurtov, A. (2017). Fast Transmission Mechanism for Secure VPLS Architectures. 2017 IEEE International Conference on Computer and Information Technology (CIT). doi: https://doi.org/10.1109/cit.2017.46
- Bethune, I., Bull, J. M., Dingle, N. J., Higham, N. J. (2014). Performance analysis of asynchronous Jacobi’s method implemented in MPI, SHMEM and OpenMP. The International Journal of High Performance Computing Applications, 28 (1), 97–111. doi: https://doi.org/10.1177/1094342013493123
- Melnyk, V., Bahnyuk, N., Melnyk, K., Zhyharevych, O., Panasyuk, N. (2017). Implementation of the simplified communication mechanism in the cloud of high performance computations. Eastern-European Journal of Enterprise Technologies, 2 (2 (86)), 24–32. doi: https://doi.org/10.15587/1729-4061.2017.98896
- Obzor nekotoryh paketov izmereniya proizvoditel'nosti klasternyh sistem. Available at: https://www.ixbt.com/cpu/cluster-benchtheory.shtml
- Computer Network & TCP Congestion Control. Available at: https://www.geeksforgeeks.org/computer-network-tcp-congestion-control/
- Steps Needed for Successful Benchmarking, using the COMPARE Method. Available at: https://www.compare2compete.com/en/blog/7-steps-needed-for-successful-benchmarking-using-the-compare-method/
- HTTP Definition. Available at: https://techterms.com/definition/http
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Авторське право (c) 2019 Vasyl Melnyk, Kateryna Melnyk, Svitlana Lavrenchuk, Ihor Burchak, Oleksii Kaganiuk
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.
Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.