Розпізнавання рухів очей на основі біоелектричних сигналів з використанням нейронних мереж

Анотація

Об'єктом дослідження є процес генерування та реєстрації електричних сигналів, спричинених рухами очей, предметом дослідження є метод розпізнавання рухів очей у реальному часі на основі цих сигналів, що реалізовано на відкритій платформі VitalCore та використовує згорткову нейронну мережу (CNN) для класифікації рухів у реальному часі. Одним з найбільш проблемних аспектів є забезпечення високої точності при низькому енергоспоживанні та обмежених обчислювальних ресурсах, а також зниження впливу шумів і затримки під час обробки сигналів. Це має особливе значення при використанні системи у носимих пристроях і в умовах реального середовища, де якість сигналу може бути нестабільною.

У дослідженні застосовано методи цифрової обробки сигналів, зокрема фільтрацію алгоритмом Савіцького-Голея, а також метод побудови CNN: використання п’ятиканальної CNN зі звичайними та транспонованими згортковими шарами, Flatten та softmax. Запропоновано використання частих ковзних вікон (кожні 8 мс), що підвищує точність і зменшує затримку.

Визначено, що точність розпізнавання досягає 85% при часовому вікні 625–833 мс і затримці близько 40 мс, що забезпечує можливість виявлення до п’яти рухів на секунду. Це зумовлено поєднанням енергоефективного сенсора з оптимізованою архітектурою CNN, яка забезпечує стійкість до шумів і швидку класифікацію у реальному часі.

Таким чином, метод дозволяє досягати стабільних і надійних результатів при збереженні низького енергоспоживання. Порівняно з відомими аналогами, вона відрізняється відкритістю, масштабованістю, відтворюваністю та здатністю працювати на периферійних пристроях без високопродуктивних обчислювальних ресурсів. Розробка може бути інтегрована у носимі пристрої й використана в інтерфейсах мозок – комп’ютер, VR/AR, допоміжних технологіях та медичних дослідженнях, що підкреслює її практичну цінність.