Розробка методу зміни властивостей поверхонь тривимірного аватару користувача

Автор(и)

  • Дмитро Васильович Островка Національний університет «Львівська політехніка», Україна https://orcid.org/0000-0003-4818-3822
  • Василь Миколайович Теслюк Національний університет «Львівська політехніка», Україна https://orcid.org/0000-0002-5974-9310

DOI:

https://doi.org/10.15587/2706-5448.2023.277933

Ключові слова:

цифрове обличчя, ігровий рушій, тривимірне моделювання обличчя, цифровий аватар, напівреалістичний аватар

Анотація

Об'єктом дослідження є процес зміни властивостей тривимірних поверхонь аватара користувача в реальному часі. В ході роботи були розглянуті обмеження існуючих рішень для синтезу тривимірних користувацьких аватарів, зокрема, з точки зору реалістичності та персоналізації на мобільних пристроях. Крім того, дане дослідження спрямоване на вирішення проблеми ефективного налаштування колірних атрибутів аватара без втрати базової інформації про текстурні дані, що в кінцевому підсумку має на меті покращити користувацький досвід продуктових застосунків. В ході роботи проведено ретельний аналіз існуючих рішень для синтезу тривимірних користувацьких аватарів з метою виявлення обмежень та напрямків для вдосконалення. Запропоновано метод, що складається з трьох ключових компонентів: попередньо розроблені 3D-моделі, багатошаровго текстурування та програмно-апаратної реалізації. Багатошаровий підхід до текстурування включає різні текстурні карти, як-от дифузні та карти оклюзії, що сприяє плавній інтеграції атрибутів текстури та загальній реалістичності 3D-аватарів. Зміна властивостей поверхні в реальному часі досягається шляхом змішування карти дифузії з іншими текстурними картами за допомогою апаратного прискорювача Metal, що дозволяє користувачам ефективно налаштовувати колірні атрибути своїх 3D-аватарів, зберігаючи при цьому основну текстурну інформацію. Представлено алгоритм програмного забезпечення, що використовує ігровий рушій SceneKit та фреймворк Metal для рендерингу 3D-аватарів на пристроях iOS. Результатом розробленого методу та засобу є мобільний застосунок для платформи iOS, що дає змогу користувачам модифікувати цифровий 3D-аватар, змінюючи кольори моделі. В роботі представлені результати тестування запропонованих методів, засобів та розробленого застосунку, а також проведено порівняння з існуючими рішеннями в галузі. Розроблений метод може бути впроваджений в таких напрямках, як ігри, віртуальна реальність, відеоконференції та соціальні медіа-платформи, пропонуючи більшу персоналізацію та більш захоплюючий користувацький досвід.

Біографії авторів

Дмитро Васильович Островка, Національний університет «Львівська політехніка»

Аспірант, асистент

Кафедра автоматизованих систем управління

Василь Миколайович Теслюк, Національний університет «Львівська політехніка»

Доктор технічних наук, професор, завідувач кафедри

Кафедра автоматизованих систем управління

Посилання

  1. Wu, Q., Zhang, J., Lai, Y.-K., Zheng, J., Cai, J. (2018). Alive Caricature from 2D to 3D. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 7336–7345. doi: https://doi.org/10.1109/cvpr.2018.00766
  2. Cai, H., Guo, Y., Peng, Z., Zhang, J. (2021). Landmark Detection and 3D Face Reconstruction for Caricature using a Nonlinear Parametric Model. Graphical Models, 115, 101103. doi: https://doi.org/10.1016/j.gmod.2021.101103
  3. Egger, B., Smith, W. A. P., Tewari, A., Wuhrer, S., Zollhoefer, M., Beeler, T. et al. (2020). 3D Morphable Face Models – Past, Present, and Future. ACM Transactions on Graphics, 39 (5), 1–38. doi: https://doi.org/10.1145/3395208
  4. Li, M., Huang, B., Tian, G. (2022). A comprehensive survey on 3D face recognition methods. Engineering Applications of Artificial Intelligence, 110, 104669. doi: https://doi.org/10.1016/j.engappai.2022.104669
  5. Sang, S., Zhi, T., Song, G., Liu, M., Lai, C., Liu, J. et al. (2022). AgileAvatar: Stylized 3D Avatar Creation via Cascaded Domain Bridging. SIGGRAPH Asia 2022 Conference Papers. doi: https://doi.org/10.1145/3550469.3555402
  6. Tiwari, H., Subramanian, V. K., Chen, Y.-S. (2022). Real-time self-supervised achromatic face colorization. The Visual Computer. doi: https://doi.org/10.1007/s00371-022-02746-1
  7. Xu, S., Yang, J., Chen, D., Wen, F., Deng, Y., Jia, Y., Tong, X. (2020). Deep 3D Portrait From a Single Image. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 7707–7717. doi: https://doi.org/10.1109/cvpr42600.2020.00773
  8. Yang, H., Zhu, H., Wang, Y., Huang, M., Shen, Q., Yang, R., Cao, X. (2020). FaceScape: A Large-Scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 598–607. doi: https://doi.org/10.1109/cvpr42600.2020.00068
  9. Ye, Z., Xia, M., Sun, Y., Yi, R., Yu, M., Zhang, J. et al. (2023). 3D-CariGAN: An End-to-End Solution to 3D Caricature Generation From Normal Face Photos. IEEE Transactions on Visualization and Computer Graphics, 29 (4), 2203–2210. doi: https://doi.org/10.1109/tvcg.2021.3126659
  10. Zhang, R., Zhu, J.-Y., Isola, P., Geng, X., Lin, A. S., Yu, T., Efros, A. A. (2017). Real-time user-guided image colorization with learned deep priors. ACM Transactions on Graphics, 36 (4), 1–11. doi: https://doi.org/10.1145/3072959.3073703
  11. Ostrovka, D., Teslyuk, V. (2023). Synthesis model of a three-dimensional image of a user based on the SceneKit game engine and the USDZ format for IOS. Scientific Bulletin of UNFU, 33 (1), 89–94. doi: https://doi.org/10.36930/40330112
  12. Ostrovka, D., Teslyuk, V. (2023). A method for dynamically changing the geometry of 3D surfaces in USDZ format with further implementation in the SceneKit game engine. Scientific Bulletin of UNFU, 33 (2).
  13. Gui, J., Zhang, Y., Li, S. (2016). Realistic 3D Facial Wrinkles Simulation Based on Tessellation. 2016 9th International Symposium on Computational Intelligence and Design (ISCID). Hangzhou, 250–254. doi: https://doi.org/10.1109/iscid.2016.1064
  14. Abdallah, Y., Abdelhamid, A., Elarif, T., Salem, A.-B. M. (2015). Comparison between OpenGL ES and metal API in medical volume visualisation. 2015 IEEE Seventh International Conference on Intelligent Computing and Information Systems (ICICIS). Cairo, 156–160. doi: https://doi.org/10.1109/intelcis.2015.7397213
Development of a method for changing the surface properties of a three-dimensional user avatar

##submission.downloads##

Опубліковано

2023-04-29

Як цитувати

Островка, Д. В., & Теслюк, В. М. (2023). Розробка методу зміни властивостей поверхонь тривимірного аватару користувача. Technology Audit and Production Reserves, 2(2(70), 10–15. https://doi.org/10.15587/2706-5448.2023.277933

Номер

Том 2 № 2(70) (2023): Інформаційно-керуючі системи

Розділ

Інформаційні технології

Ліцензія

Авторське право (c) 2023 Dmytro Ostrovka, Vasyl Teslyuk

Creative Commons License

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.

Закріплення та умови передачі авторських прав (ідентифікація авторства) здійснюється у Ліцензійному договорі. Зокрема, автори залишають за собою право на авторство свого рукопису та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons CC BY. При цьому вони мають право укладати самостійно додаткові угоди, що стосуються неексклюзивного поширення роботи у тому вигляді, в якому вона була опублікована цим журналом, але за умови збереження посилання на першу публікацію статті в цьому журналі.