Розробка багатокрокового рекурентного алгоритма максимізації критерія корентропії

Автор(и)

  • Олег Григорійович Руденко Харківський національний університет радіоелектроніки, Україна https://orcid.org/0000-0003-0859-2015
  • Олександр Олександрович Безсонов Харківський національний університет радіоелектроніки, Україна https://orcid.org/0000-0001-6104-4275
  • Віктор Петрович Борисенко Харківський національний університет радіоелектроніки, Україна https://orcid.org/0000-0001-9372-6449
  • Тетяна Іванівна Борисенко Харківський національний університет радіоелектроніки, Україна https://orcid.org/0000-0001-6915-6861
  • Сергій Олексійович Ляшенко Харківський національний технічний університет сільського господарства ім. Петра Василенка, Україна https://orcid.org/0000-0001-8304-9309

DOI:

https://doi.org/10.15587/1729-4061.2021.225765

Ключові слова:

корентропія багатокроковий алгоритм, ширина ядра, коефіцієнт зважування інформації, пам'ять алгоритма, сталість

Анотація

Розглядається задача побудови лінійної моделі досліджуваного об'єкта з використанням робастного критерію. Функціонал, який при цьому застосовується, являє собою корентропію. Це дозволяє отримати оцінки, які мають робастні властивості. Алгоритм оцінювання є багатокроковою процедурою, яка використовує обмежену кількість вимірів інформації, тобто має обмежену пам'ять. Особливістю алгоритму є те, що використовувані при побудові оцінок матриці і вектори спостережень на кожному кроці оцінювання формуються наступним чином: в них включається інформація про новоприбулі виміри і виключається інформація про найбільш старі. Залежно від того, як формуються ці матриці і вектори (чи додається спочатку нова інформація, а потім виключається застаріла, або ж спочатку виключається застаріла, а потім додається нова) можливі дві форми оцінки. Для дослідження питань збіжності алгоритму використано другий метод Ляпунова. Визначено умови збіжності багатокрокового алгоритму. Аналіз сталого режиму показав, що алгоритм забезпечує отримання незміщених оцінок.

Слід зазначити, що всі отримані в роботі оцінки залежать від вибору ширини ядра, коефіцієнта зважування інформації та пам'яті алгоритма, проблема визначення яких залишається відкритою. Тому для практичного застосування таких багатокрокових алгоритмів слід використовувати оцінки цих параметрів.

Отримані в даній роботі оцінки дозволяють досліднику попередньо оцінити можливості ідентифікації за допомогою багатокрокового алгоритму та ефективність його використання при вирішенні практичних задач

Біографії авторів

Олег Григорійович Руденко , Харківський національний університет радіоелектроніки

Доктор технічних наук, професор, завідувач кафедри

Кафедра комп’ютерних інтелектуальних технологій та систем

Олександр Олександрович Безсонов , Харківський національний університет радіоелектроніки

Доктор технічних наук, професор

Кафедра комп’ютерних інтелектуальних технологій та систем

Віктор Петрович Борисенко , Харківський національний університет радіоелектроніки

Кандидат технічних наук, доцент

Кафедра електронних обчислювальних машин

Тетяна Іванівна Борисенко , Харківський національний університет радіоелектроніки

Кандидат технічних наук, доцент

Кафедра електронних обчислювальних машин

Сергій Олексійович Ляшенко , Харківський національний технічний університет сільського господарства ім. Петра Василенка

Доктор технічних наук, професор

Кафедра безпеки життя и права

Посилання

  1. Tsypkin, Ya. Z., Polyak, B. T. (1977) Ogrublenniy metod maksimal'nogo pravdopodobiya. V kn. Dinamika sistem. Gor'kiy, 12, 22–46.
  2. Tiange Shao, Zheng, Y. R., Benesty, J. (2010). An Affine Projection Sign Algorithm Robust Against Impulsive Interferences. IEEE Signal Processing Letters, 17 (4), 327–330. doi: https://doi.org/10.1109/lsp.2010.2040203
  3. Shin, J., Yoo, J., Park, P. (2012). Variable step-size affine projection sign algorithm. Electronics Letters, 48 (9), 483. doi: https://doi.org/10.1049/el.2012.0751
  4. Lu, L., Zhao, H., Li, K., Chen, B. (2015). A Novel Normalized Sign Algorithm for System Identification Under Impulsive Noise Interference. Circuits, Systems, and Signal Processing, 35 (9), 3244–3265. doi: https://doi.org/10.1007/s00034-015-0195-1
  5. Huang, H.-C., Lee, J. (2012). A New Variable Step-Size NLMS Algorithm and Its Performance Analysis. IEEE Transactions on Signal Processing, 60 (4), 2055–2060. doi: https://doi.org/10.1109/tsp.2011.2181505
  6. Casco-Sánchez, F. M., Medina-Ramírez, R. C., López-Guerrero, M. (2011). A New Variable Step-Size NLMS Algorithm and its Performance Evaluation in Echo Cancelling Applications. Journal of Applied Research and Technology, 9 (03). doi: https://doi.org/10.22201/icat.16656423.2011.9.03.425
  7. Huber, P. J. (1977). Robust methods of estimation of regression coefficients. Series Statistics, 8 (1), 41–53. doi: https://doi.org/10.1080/02331887708801356
  8. Hampel, F. R. (1974). The Influence Curve and its Role in Robust Estimation. Journal of the American Statistical Association, 69 (346), 383–393. doi: https://doi.org/10.1080/01621459.1974.10482962
  9. Adamczyk, T. (2017). Application of the Huber and Hampel M-estimation in real estate value modeling. Geomatics and Environmental Engineering, 11 (1), 15. doi: https://doi.org/10.7494/geom.2017.11.1.15
  10. Rudenko, O. G., Bezsonov, O. O. (2011). Robust training of radial basis networks. Cybernetics and Systems Analysis, 47 (6), 38–46.
  11. Rudenko, O. G., Bezsonov, O. O. (2014). Robust Neuroevolutionary Identification of Nonlinear Nonstationary Objects. Cybernetics and Systems Analysis, 50 (1), 17–30. doi: https://doi.org/10.1007/s10559-014-9589-5
  12. Rudenko, O. G., Bezsonov, O. O., Rudenko, S. О. (2013). Robastnaya identifikatsiya nelineynyh obektov s pomosch'yu evolyutsioniruyuschey radial'no-bazisnoy seti. Cybernetics and Systems Analysis, 49 (2), 15–26.
  13. Rudenko, O., Bezsonov, O. (2011). Function Approximation Using Robust Radial Basis Function Networks. Journal of Intelligent Learning Systems and Applications, 03 (01), 17–25. doi: https://doi.org/10.4236/jilsa.2011.31003
  14. Chambers, J. A., Tanrikulu, O., Constantinides, A. G. (1994). Least mean mixed-norm adaptive filtering. Electronics Letters, 30 (19), 1574–1575. doi: https://doi.org/10.1049/el:19941060
  15. Rakesh, P., Kumar, T. K., Albu, F. (2019). Modified Least-Mean Mixed-Norm Algorithms For Adaptive Sparse System Identification Under Impulsive Noise Environment. 2019 42nd International Conference on Telecommunications and Signal Processing (TSP). doi: https://doi.org/10.1109/tsp.2019.8768813
  16. Papoulis, E. V., Stathaki, T. (2004). A Normalized Robust Mixed-Norm Adaptive Algorithm for System Identification. IEEE Signal Processing Letters, 11 (1), 56–59. doi: https://doi.org/10.1109/lsp.2003.819353
  17. Rudenko, O., Bezsonov, O., Lebediev, O., Serdiuk, N. (2019). Robust identification of non-stationary objects with nongaussian interference. Eastern-European Journal of Enterprise Technologies, 5 (4 (101)), 44–52. doi: https://doi.org/10.15587/1729-4061.2019.181256
  18. Walach, E., Widrow, B. (1984). The least mean fourth (LMF) adaptive algorithm and its family. IEEE Transactions on Information Theory, 30 (2), 275–283. doi: https://doi.org/10.1109/tit.1984.1056886
  19. Zhang, S., Zhang, J. (2015). Fast stable normalised least‐mean fourth algorithm. Electronics Letters, 51 (16), 1276–1277. doi: https://doi.org/10.1049/el.2015.0421
  20. Guan, S., Meng, C., Biswal, B. (2019). Optimal step-size of least mean absolute fourth algorithm in low SNR. arXiv.org. Available at: https://arxiv.org/ftp/arxiv/papers/1908/1908.08165.pdf
  21. Asad, S. M., Moinuddin, M., Zerguine, A., Chambers, J. (2019). A robust and stable variable step-size design for the least-mean fourth algorithm using quotient form. Signal Processing, 162, 196–210. doi: https://doi.org/10.1016/j.sigpro.2019.04.021
  22. Bin Mansoor, U., Mayyala, Q., Moinuddin, M., Zerguine, A. (2017). Quasi-Newton least-mean fourth adaptive algorithm. 2017 25th European Signal Processing Conference (EUSIPCO). doi: https://doi.org/10.23919/eusipco.2017.8081689
  23. Sadiq, A., Usman, M., Khan, S., Naseem, I., Moinuddin, M., Al-Saggaf, U. M. (2019). q-LMF: Quantum Calculus-Based Least Mean Fourth Algorithm. Fourth International Congress on Information and Communication Technology, 303–311. doi: https://doi.org/10.1007/978-981-15-0637-6_25
  24. Zerguine, A., Cowan, C. F. N., Bettayeb, M. (1996). LMS-LMF adaptive scheme for echo cancellation. Electronics Letters, 32 (19), 1776. doi: https://doi.org/10.1049/el:19961202
  25. Zerguine, A., Aboulnasr, T. (2000). Convergence analysis of the variable weight mixed-norm LMS-LMF adaptive algorithm. Conference Record of the Thirty-Fourth Asilomar Conference on Signals, Systems and Computers (Cat. No.00CH37154). doi: https://doi.org/10.1109/acssc.2000.910959
  26. Zerguine, A. (2012). A variable-parameter normalized mixed-norm (VPNMN) adaptive algorithm. EURASIP Journal on Advances in Signal Processing, 2012 (1). doi: https://doi.org/10.1186/1687-6180-2012-55
  27. Rudenko, O., Bezsonov, O., Serdiuk, N., Oliinyk, K., Romanyk, O. (2020). Workable identification of objects based on minimization of combined functional. Information Processing Systems, 1 (160), 80–88. doi: https://doi.org/10.30748/soi.2020.160.10
  28. Rudenko, O., Bezsonov, O., Lebediev, O., Lebediev, V., Oliinyk, K. (2020). Studying the properties of a robust algorithm for identifying linear objects, which minimizes a combined functional. Eastern-European Journal of Enterprise Technologies, 4 (4 (106)), 37–46. doi: https://doi.org/10.15587/1729-4061.2020.210129
  29. Tanrikulu, O., Constantinides, A. G. (1994). Least-mean kurtosis: A novel higher-order statistics based adaptive filtering algorithm. Electronics Letters, 30 (3), 189–190. doi: https://doi.org/10.1049/el:19940129
  30. Pazaitis, D. I., Constantinides, A. G. (1999). A novel kurtosis driven variable step-size adaptive algorithm. IEEE Transactions on Signal Processing, 47 (3), 864–872. doi: https://doi.org/10.1109/78.747793
  31. Engel, Y., Mannor, S., Meir, R. (2004). The Kernel Recursive Least-Squares Algorithm. IEEE Transactions on Signal Processing, 52 (8), 2275–2285. doi: https://doi.org/10.1109/tsp.2004.830985
  32. Gil-Cacho, J. M., Signoretto, M., van Waterschoot, T., Moonen, M., Jensen, S. H. (2013). Nonlinear Acoustic Echo Cancellation Based on a Sliding-Window Leaky Kernel Affine Projection Algorithm. IEEE Transactions on Audio, Speech, and Language Processing, 21 (9), 1867–1878. doi: https://doi.org/10.1109/tasl.2013.2260742
  33. Eksioglu, E. M., Tanc, A. K. (2011). RLS Algorithm With Convex Regularization. IEEE Signal Processing Letters, 18 (8), 470–473. doi: https://doi.org/10.1109/lsp.2011.2159373
  34. Principe, J. C., Xu, D., Zhao, Q., Fisher, J. W. (2000). Learning from examples with information theoretic criteria. Journal of VLSI signal processing systems for signal, image and video technology, 26, 61–77. doi: https://doi.org/10.1023/A:1008143417156
  35. Principe, J. C., Xu, D., Fisher, J. (2000). Information-theoretic learning. Unsupervised Adaptive Filtering. Wiley, 265–319.
  36. Santamaria, I., Pokharel, P. P., Principe, J. C. (2006). Generalized correlation function: definition, properties, and application to blind equalization. IEEE Transactions on Signal Processing, 54 (6), 2187–2197. doi: https://doi.org/10.1109/tsp.2006.872524
  37. Liu, W., Pokharel, P. P., Principe, J. C. (2007). Correntropy: Properties and Applications in Non-Gaussian Signal Processing. IEEE Transactions on Signal Processing, 55 (11), 5286–5298. doi: https://doi.org/10.1109/tsp.2007.896065
  38. Wang, W., Zhao, J., Qu, H., Chen, B., Principe, J. C. (2015). An adaptive kernel width update method of correntropy for channel estimation. 2015 IEEE International Conference on Digital Signal Processing (DSP). doi: https://doi.org/10.1109/icdsp.2015.7252010
  39. Ma, W., Qu, H., Gui, G., Xu, L., Zhao, J., Chen, B. (2015). Maximum correntropy criterion based sparse adaptive filtering algorithms for robust channel estimation under non-Gaussian environments. Journal of the Franklin Institute, 352 (7), 2708–2727. doi: https://doi.org/10.1016/j.jfranklin.2015.03.039
  40. Guo, Y., Ma, B., Li, Y. (2020). A Kernel-Width Adaption Diffusion Maximum Correntropy Algorithm. IEEE Access, 8, 33574–33587. doi: https://doi.org/10.1109/access.2020.2972905
  41. Shi, L., Zhao, H., Zakharov, Y. (2020). An Improved Variable Kernel Width for Maximum Correntropy Criterion Algorithm. IEEE Transactions on Circuits and Systems II: Express Briefs, 67 (7), 1339–1343. doi: https://doi.org/10.1109/tcsii.2018.2880564
  42. Huang, F., Zhang, J., Zhang, S. (2017). Adaptive Filtering Under a Variable Kernel Width Maximum Correntropy Criterion. IEEE Transactions on Circuits and Systems II: Express Briefs, 64 (10), 1247–1251. doi: https://doi.org/10.1109/tcsii.2017.2671339
  43. Lu, L., Zhao, H. (2017). Active impulsive noise control using maximum correntropy with adaptive kernel size. Mechanical Systems and Signal Processing, 87, 180–191. doi: https://doi.org/10.1016/j.ymssp.2016.10.020
  44. Rudenko, O. G., Bezsonov, O. O. (2020). ADALINE Robust Multistep Training Algorithm. Control Systems and Computers, 3 (287), 15–27. doi: https://doi.org/10.15407/csc.2020.03.015

##submission.downloads##

Опубліковано

2021-02-26

Як цитувати

Руденко , О. Г., Безсонов , О. О. ., Борисенко , В. П., Борисенко , Т. І. ., & Ляшенко , С. О. (2021). Розробка багатокрокового рекурентного алгоритма максимізації критерія корентропії . Eastern-European Journal of Enterprise Technologies, 1(4 (109), 54–63. https://doi.org/10.15587/1729-4061.2021.225765

Номер

Том 1 № 4 (109) (2021): Математика та кібернетика - прикладні аспекти

Розділ

Математика та кібернетика - прикладні аспекти

Ліцензія

Авторське право (c) 2021 Олег Григорьевич Руденко , Александр Александрович Бессонов , Виктор Петрович Борисенко , Татьяна Ивановна Борисенко , Сергей Алексеевич Ляшенко

Creative Commons License

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.

Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.

Ліцензійний договір – це документ, в якому автор гарантує, що володіє усіма авторськими правами на твір (рукопис, статтю, тощо).
Автори, підписуючи Ліцензійний договір з ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР», мають усі права на подальше використання свого твору за умови посилання на наше видання, в якому твір опублікований. Відповідно до умов Ліцензійного договору, Видавець ПП «ТЕХНОЛОГІЧНИЙ ЦЕНТР» не забирає ваші авторські права та отримує від авторів дозвіл на використання та розповсюдження публікації через світові наукові ресурси (власні електронні ресурси, наукометричні бази даних, репозитарії, бібліотеки тощо).
За відсутності підписаного Ліцензійного договору або за відсутністю вказаних в цьому договорі ідентифікаторів, що дають змогу ідентифікувати особу автора, редакція не має права працювати з рукописом.
Важливо пам’ятати, що існує і інший тип угоди між авторами та видавцями – коли авторські права передаються від авторів до видавця. В такому разі автори втрачають права власності на свій твір та не можуть його використовувати в будь-який спосіб.