Покращення аспектно-орієнтованого аналізу фінансових настроїв за допомогою контрастного навчання
DOI:
https://doi.org/10.30837/ITSSI.2023.25.138Ключові слова:
аспектний аналіз фінансових настроїв; контрастне навчання; класифікація текстівАнотація
Предметом дослідження цієї роботи є спеціалізоване застосування аспектного аналізу фінансових настроїв (ABFSA), зосереджене на складному та багатогранному емоційному ландшафті фінансових текстових даних. Дослідження розширює сучасне розуміння аналізу настроїв, розглядаючи його обмеження та можливості у фінансовому контексті. Мета роботи – покращення сфери аспектного аналізу фінансових настроїв способом розроблення більш тонкої та ефективної методології для аналізу настроїв у фінансових новинах. Крім того, дослідження має на меті оцінити ефективність останніх досягнень в обробленні природної мови (NLP) і в машинному навчанні для вдосконалення моделей ABFSA. У статті розв’язується кілька завдань. По-перше, дослідження зосереджується на ретельному попередньому обробленні набору даних SEntFiN, щоб зробити його більш придатним для передових методів машинного навчання, зокрема методологій контрастного навчання. По-друге, воно спрямоване на створення уніфікованої моделі, що інтегрує найсучасніші методи машинного навчання, зокрема DeBERTa v3, контрастне навчання і точне налаштування LoRa. Нарешті, дослідження критично оцінює метрики продуктивності запропонованої моделі на тестовому наборі даних і порівнює їх із наявними методологіями. Використовуються такі методи: попереднього оброблення, що адаптовані для набору даних SEntFiN, який призначений для аналізу настроїв, чутливих до суб’єктів, у фінансових новинах; передові методи машинного навчання, такі як DeBERTa v3, для попереднього навчання мовної моделі, контрастне навчання для зосередження на причинно-наслідкових зв’язках і LoRa для точного налаштування великих мовних моделей; методи оцінювання продуктивності, що застосовуються для визначення ефективності запропонованої моделі, зокрема порівняння з наявними методологіями в цій галузі. Здобуто конкретні результати. Дослідження показало, що запропонована система попереднього оброблення успішно справляється зі змінною кількістю об’єктів, присутніх у фінансових новинах, тим самим покращуючи деталізацію класифікації настроїв. Крім того, інтеграція передових методів NLP і машинного навчання значно підвищує точність і ефективність моделей ABFSA. Висновки. Спеціалізовані методології ABFSA, доповнені передовими методами NLP і надійною системою попереднього оброблення, можуть запропонувати більш тонке й точне подання настроїв у фінансових наративах. Результати роботи закладають основу для майбутніх досліджень у цій новій, але дуже важливій міждисциплінарній галузі, надаючи практичні висновки для зацікавлених сторін – від інвесторів до фінансових аналітиків.
Посилання
References
Hu, E.J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., Wang, L. and Chen, W. (2021), "Lora. Low-rank adaptation of large language models". FinLLM Symposium at IJCAI. 2021. Р. 1–26. DOI: https://doi.org/10.48550/arXiv.2106.09685
Choi, S., Jeong, M., Han, H., & Hwang, S. W. (2022), "C2l: Causally contrastive learning for robust text classification". In Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 36(10). 2022. Р. 10526–10534. DOI: https://doi.org/10.1609/aaai.v36i10.21296
He, Pengcheng, Jianfeng, Gao, and Weizhu, Chen (2021), "Improving deberta using electra-style pre-training with gradient-disjoint embedding sharing". FinLLM Symposium at IJCAI. 16 р. DOI: https://doi.org/10.48550/arXiv.2111.09543
Sinha, A., Kedas, S., Kumar, R., & Malo, P. (2022), "SEntFiN 1.0: Entity-aware sentiment analysis for financial news". Journal of the Association for Information Science and Technology. Vol. 73(9). Р. 1314–1335. DOI: 10.1002/asi.24634
Malo, Pekka et al. (20140, "Good debt or bad debt: Detecting semantic orientations in economic texts". Journal of the Association for Information Science and Technology. Vol.65.4. Р. 782-796. DOI: https://doi.org/10.48550/arXiv.1307.5336
Maia, Macedo, et al. (2018), "Www'18 open challenge: financial opinion mining and question answering". Companion proceedings of the web conference. Р. 1941–1942. DOI: 10.1145/3184558.3192301
Loukas, Lefteris et al. (2022), "Financial numeric entity recognition for XBRL tagging". Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. (Volume 1: Long Papers). Р. 4419–4431. DOI: 10.18653/v1/2022.acl-long.303
Huang, Allen H., Hui, Wang, and Yi, Yang. (2022), "A large language model for extracting information from financial text". Contemporary Accounting Research. Р. 806–841. DOI: https://doi.org/10.1111/1911-3846.12832
Zhang, Yuzhe, and Hong, Zhang (2022), "FinBERT-MRC: financial named entity recognition using BERT under the machine reading comprehension paradigm". FinLLM Symposium at IJCAI. Р. 1–19. DOI: https://doi.org/10.48550/arXiv.2205.15485
Asahi, Ushio and Jose, Camacho-Collados, An. (2021), "All-Round Python Library for Transformer-based Named Entity Recognition". In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: System Demonstrations. Association for Computational Linguistics. Р. 53–62. DOI: 10.18653/v1/2021.eacl-demos.7
Nguyen, D. N., Cao, S., Nguyen, S. and Dinh, C. (20220, "Multilingual Pretrained Language Model for Financial Domain" 14th International Conference on Knowledge and Systems Engineering (KSE), Nha Trang, Vietnam. Р. 1–6. DOI: 10.1109/KSE56063.2022.9953749.
Iz Beltagy, Kyle Lo, and Arman Cohan (2019), "A Pretrained Language Model for Scientific Text". In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). Hong Kong, China. Association for Computational Linguistics. Р. 3615–3620. DOI: 10.18653/v1/D19-1371
Lee, Jinhyuk, et al. (2020), "A pre-trained biomedical language representation model for biomedical text mining". Bioinformatics.Vol.36.4. 2020. P. 1234–1240. DOI: https://doi.org/10.48550/arXiv.1901.08746
Taylor, Ross, et al. (2022), "A large language model for science". FinLLM Symposium at IJCAI. 58 р. DOI: https://doi.org/10.48550/arXiv.2211.09085
Vaswani, Ashish, et al. "Attention is all you need". Advances in neural information processing systems. 2017. 30 р. available at: https://papers.nips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html
Xie, Q., Han, W., Zhang, X., Lai, Y., Peng, M., Lopez-Lira, A. and Huang, J. (2023), "A Large Language Model". Instruction Data and Evaluation Benchmark for Finance. 12 р. DOI: https://doi.org/10.48550/arXiv.2306.05443
Liu, X.Y., Wang, G. and Zha, D. (2023), "FinGPT: Democratizing Internet-scale Data for Financial Large Language Models". FinLLM Symposium at IJCAI. 43 р. DOI: https://doi.org/10.48550/arXiv.2307.10485
Zhang, B., Yang, H. and Liu, X.Y. (2023), "Instruct-FinGPT: Financial Sentiment Analysis by Instruction Tuning of General-Purpose Large Language Models". FinLLM Symposium at IJCAI. Р. 1–7. DOI: https://doi.org/10.48550/arXiv.2306.12659
Wu, S., Irsoy, O., Lu, S., Dabravolski, V., Dredze, M., Gehrmann, S., & Mann, G. (2023), "A large language model for finance". Updated to include Training Chronicles. 76 р. DOI: https://doi.org/10.48550/arXiv.2303.17564
Chi, T. C., & Chen, Y. N. (2018), "Cross-lingual unsupervised sense embeddings". Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics. Р. 271–281. DOI: 10.18653/v1/d18-1025
Chen, T., Kornblith, S., Norouzi, M. and Hinton, G. (2020), "A simple framework for contrastive learning of visual representations". In International Conference on Learning Representations. Vol. 2. Р. 1–20. DOI: https://doi.org/10.48550/arXiv.2002.05709
Gao, T., Yao, X., & Chen, D. (2021), "Simple contrastive learning of sentence embeddings". Accepted to EMNLP 2021. Р. 1–17. DOI: https://doi.org/10.48550/arXiv.2104.08821
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Наше видання використовує положення про авторські права Creative Commons для журналів відкритого доступу.
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:
Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License (CC BY-NC-SA 4.0), котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
Автори мають право укладати самостійні додаткові угоди щодо не комерційного та не ексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису опублікованої роботи, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи.
