МОДЕЛИ РАСПОЗНАНИЯ И СИНТЕЗА РЕЧИ
Рагачурина Н. А.
Annotatsiya
в условиях стремительного развития технологий искусственного интеллекта и машинного обучения, автоматическое распознавание речи (ASR) и преобразование текста в речь (TTS) стали ключевыми компонентами цифровой трансформации общества. Узбекский язык, как представитель тюркской языковой семьи, остается языком с ограниченными ресурсами, имеющим ограниченные языковые модели и высококачественные системы синтеза речи. Особое внимание уделяется лингвистическим и техническим барьерам, включая агглютинативную структуру, богатую систему гласных, и фонемную изменчивость. Системы распознавания речи оценивались с использованием BLEU, WER, TER, chrF и COMET, а синтез речи — с помощью MCD, PESQ, STOI и DNSMOS, таким образом, охватывая как лексико-семантические, так и акустико-перцептивные характеристики. Для преобразования речи в текст (STT) наилучшие результаты показала система Soyle на данных, специфичных для данной области, в то время как Voiser показала сбалансированную точность, а GPT-4 Transcribe обеспечила надежное сохранение семантики. В отличие от этого, Whisper показала наихудшие, требуя дальнейшей адаптации для узбекского языка.
Adabiyotlar
- Tukeyev, U.; Karibayeva, A.; Zhumanov, Z. Morphological Segmentation Method for Turkic Language Neural Machine Translation. Cogent Eng. 2020, 7, 1832403. [CrossRef]
- Rosenberg, A.; Zhang, Y.; Ramabhadran, B.; Jia, Y.; Moreno, P.; Wu, Y.; Wu, Z. Speech recognition with augmented synthesized speech. In Proceedings of the 2019 IEEE Automatic Speech Recognition and Understanding Workshop, Singapore, 14–18 December 2019;
- Zhang, C.; Li, B.; Sainath, T.; Strohman, T.; Mavandadi, S.; Chang, S.-Y.; Haghani, P. Streaming end-to-end multilingual speech recognition with joint language identification. In Proceedings of the INTERSPEECH, 2022, Incheon, Korea, 18–22 September 2022;
- Zhang, Y.; Han, W.; Qin, J.; Wang, Y.; Bapna, A.; Chen, Z.; Chen, N.; Li, B.; Axelrod, V.; Wang, G.; et al. Google USM: Scaling automatic speech recognition beyond 100 languages. arXiv 2023;
- Liu, Y.; Yang, X.; Qu, D. Exploration of Whisper Fine-Tuning Strategies for Low-Resource ASR. EURASIP J. Audio Speech Music
- Process. 2024;