Accuracy assessment of marker recognition using ultra wide angle camera

Світлана Миколаївна Алхімова; Ілля Вікторович Давидович

doi:10.15587/2706-5448.2022.259068

Автор(и)

Світлана Миколаївна Алхімова Національний технічний університет України «Київський політехнічний інститут ім. Ігоря Сікорського», Україна http://orcid.org/0000-0002-9749-7388
Ілля Вікторович Давидович Національний технічний університет України «Київський політехнічний інститут ім. Ігоря Сікорського», Україна https://orcid.org/0000-0001-9987-8267

DOI:

https://doi.org/10.15587/2706-5448.2022.259068

Ключові слова:

доповнена реальність, розпізнавання маркерів, координатні мітки ArUco, точність розпізнавання, інтраопераційна навігація, надширококутна камера

Анотація

Сучасні пристрої, що підтримують технологію доповненої реальності, широко використовуються в різних сферах людської діяльності, в тому числі і у медицині. Головні дисплеї можуть стати привабливою альтернативою традиційним системам інтраопераційної навігації, оскільки дозволяють користувачам природно взаємодіяти від першої особи із об’єктами, що їх оточують. Отже, об’єктом дослідження у даній роботі є точність розпізнавання координатних міток (маркерів) у таких зонах, в яких надширококутна камера надає найбільші спотворення зображення. Це обумовлене необхідністю збільшити робочий простір можливої взаємодії з маркерами у порівнянні з тим, що надає такий популярний пристрій доповненої реальності як Microsoft HoloLens 2.

У ході дослідження для оцінки точності розпізнавання використовуються квадратні маркери ArUco із взяттям до уваги можливості мати зазначені маркери різних розмірів та розміщені у різних зонах зображення з камери. Положення маркерів включають центр поля зору камери, а також такі зони найбільших спотворень ширококутними об’єктивами, як верхній лівий, верхній правий, нижній лівий та нижній правий кути поля зору камери.

Отримані результати показують, що точність розпізнавання є доволі прийнятною для використання в системах інтраопераційної навігації, а помилки, пов’язані з дисторсіями, складають менш, ніж 0,2 % від усіх випадків із нерозпізнаними маркерами. Завдяки цьому забезпечується можливість збільшити робочий простір можливої взаємодії з маркерами у порівнянні з пристроєм доповненої реальності Microsoft HoloLens 2. Разом з тим, робочий простір для взаємодії з маркерами є меншим за фактичний розмір поля зору надширококутної камери, оскільки розпізнавання неможливе у випадках, коли маркер частково присутній на зображенні (положення маркера наближене до границь зображення).

Біографії авторів

Світлана Миколаївна Алхімова, Національний технічний університет України «Київський політехнічний інститут ім. Ігоря Сікорського»

Кандидат технічних наук

Кафедра біомедичної кібернетики

Ілля Вікторович Давидович, Національний технічний університет України «Київський політехнічний інститут ім. Ігоря Сікорського»

Кафедра біомедичної кібернетики

Посилання

Vassallo, R., Rankin, A., Chen, E. C., Peters, T. M. (2017, March). Hologram stability evaluation for Microsoft HoloLens. Medical Imaging 2017: Image Perception, Observer Performance, and Technology Assessment, 10136, 295–300. doi: http://doi.org/10.1117/12.2255831
Eckert, M., Volmerg, J. S., Friedrich, C. M. (2019). Augmented Reality in Medicine: Systematic and Bibliographic Review. JMIR mHealth and uHealth, 7 (4), e10967. doi: http://doi.org/10.2196/10967
Moro, C., Phelps, C., Redmond, P., Stromberga, Z. (2020). HoloLens and mobile augmented reality in medical and health science education: A randomised controlled trial. British Journal of Educational Technology, 52 (2), 680–694. doi: http://doi.org/10.1111/bjet.13049
Olson, E. (2011). AprilTag: A robust and flexible visual fiducial system. 2011 IEEE international conference on robotics and automation, 3400–3407. doi: http://doi.org/10.1109/icra.2011.5979561
Romero-Ramirez, F. J., Muñoz-Salinas, R., Medina-Carnicer, R. (2018). Speeded up detection of squared fiducial markers. Image and Vision Computing, 76, 38–47. doi: http://doi.org/10.1016/j.imavis.2018.05.004
Microsoft: Learn about HoloLens 2 features and review technical specs. Available at: https://www.microsoft.com/en-us/hololens/hardware Last accessed: 20.05.2022
Howard, I. P., Rogers, B. J. (1995). Binocular vision and stereopsis. Oxford psychology series No. 29. Oxford University Press, 736. doi: https://doi.org/10.1093/acprof:oso/9780195084764.001.0001
Brand, M., Wulff, L. A., Hamdani, Y., Schüppstuhl, T. (2020). Accuracy of Marker Tracking on an Optical See-Through Head Mounted Display. Annals of Scientific Society for Assembly, Handling and Industrial Robotics. Vieweg, Berlin, Heidelberg: Springer, 21–31. doi: http://doi.org/10.1007/978-3-662-61755-7_3
Thabit, A., Niessen, W. J., Wolvius, E. B., van Walsum, T. (2022). Evaluation of marker tracking using mono and stereo vision in Microsoft HoloLens for surgical navigation. Medical Imaging 2022: Image-Guided Procedures, Robotic Interventions, and Modeling, 12034, 253–262. doi: http://doi.org/10.1117/12.2607262
Zhao, H., Ying, X., Shi, Y., Tong, X., Wen, J., Zha, H. (2020). RDCFace: radial distortion correction for face recognition. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 7721–7730. doi: http://doi.org/10.1109/cvpr42600.2020.00774
Miki, D., Abe, S., Chen, S., Demachi, K. (2020). Robust human motion recognition from wide-angle images for video surveillance in nuclear power plants. Mechanical Engineering Journal, 7 (3), 19–00533–19–00533. doi: http://doi.org/10.1299/mej.19-00533
Remondino, F., Fraser, C. (2006). Digital camera calibration methods: considerations and comparisons. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 36 (5), 266–272. doi: https://doi.org/10.3929/ethz-b-000158067
OpenCV: Tutorials for contrib modules. Detection of ArUco Markers. Available at: https://docs.opencv.org/4.x/d5/dae/tutorial_aruco_detection.html Last accessed: 20.05.2022
Liu, X., Plishker, W., Shekhar, R. (2021). Hybrid electromagnetic-ArUco tracking of laparoscopic ultrasound transducer in laparoscopic video. Journal of Medical Imaging, 8 (1). doi: http://doi.org/10.1117/1.jmi.8.1.015001
Oščádal, P., Heczko, D., Vysocký, A., Mlotek, J., Novák, P., Virgala, I. et. al. (2020). Improved Pose Estimation of Aruco Tags Using a Novel 3D Placement Strategy. Sensors, 20 (17), 4825. doi: http://doi.org/10.3390/s20174825
Luzon, J. A., Stimec, B. V., Bakka, A. O., Edwin, B., Ignjatovic, D. (2020). Value of the surgeon’s sightline on hologram registration and targeting in mixed reality. International Journal of Computer Assisted Radiology and Surgery, 15 (12), 2027–2039. doi: http://doi.org/10.1007/s11548-020-02263-3
Garrido-Jurado, S., Muñoz-Salinas, R., Madrid-Cuevas, F. J., Marín-Jiménez, M. J. (2014). Automatic generation and detection of highly reliable fiducial markers under occlusion. Pattern Recognition, 47 (6), 2280–2292. doi: http://doi.org/10.1016/j.patcog.2014.01.005
Looker, J., Garvey, T. (2015). Reaching for Holograms: Assessing the Ergonomics of the Microsoft™ Hololens™ 3D Gesture Known as the «Air Tap». Proceedings from International Design Congress. Gwangju: KSDS, 504–511.