АРХИТЕКТУРЫ ГЛУБОКОГО ОБУЧЕНИЯ ДЛЯ НЕПРЕРЫВНОГО РАСПОЗНАВАНИЯ ЖЕСТОВОГО ЯЗЫКА: КОМПЛЕКСНЫЙ АНАЛИЗ ОТ CNN-RNN ДО SLOWFAST СЕТЕЙ
Онаркулов М. К., Юсупов М. А. & Умиржонов Л. А.
Annotatsiya
Распознавание жестового языка представляет собой критически важную технологию, обеспечивающую коммуникационный мост между глухими и слабослышащими сообществами и слышащим миром. Данное исследование представляет комплексный анализ эволюции методов непрерывного распознавания жестового языка с особым акцентом на архитектуру SlowFast, демонстрирующую современный уровень производительности в данной области. В работе детально исследуется двухпутевой дизайн с механизмами двунаправленного слияния признаков и улучшения признаков путей, демонстрирующий эффективный захват как пространственной семантики в форме конфигураций рук и выражений лица, так и временной динамики в виде движений и переходов между знаками. Представленный анализ вычислительной сложности выявляет, что методы на основе скелетных данных достигают двадцати-сорокакратного преимущества в параметрической эффективности по сравнению с видеомоделями при сохранении конкурентоспособной точности. Архитектура SlowFast достигает показателя Word Error Rate 18,28% на эталонном наборе данных PHOENIX-2014, превосходя предшествующие RGB-методы и устанавливая новый стандарт качества для систем, использующих исключительно видеоданные.
Adabiyotlar
- World Health Organization. Deafness and Hearing Loss Fact Sheet. 2024.
- Bragg D. et al. Sign Language Recognition, Generation, and Translation: An Interdisciplinary Perspective // Proc. ACM ASSETS. 2019. P. 16–31.
- Feichtenhofer C., Fan H., Malik J., He K. SlowFast Networks for Video Recognition // Proc. IEEE/CVF ICCV. 2019. P. 6202–6211.
- Ahn J., Jang Y., Chung J.S. SlowFast Network for Continuous Sign Language Recognition // Proc. IEEE ICASSP. 2024. P. 3920–3924.
- Forster J. et al. Extensions of the Sign Language Recognition and Translation Corpus RWTH-PHOENIX-Weather // Proc. LREC. 2014. P. 1911–1916.
- Carreira J., Zisserman A. Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset // Proc. IEEE/CVF CVPR. 2017. P. 6299–6308.
- Hu H. et al. Continuous Sign Language Recognition with Correlation Network // Proc. IEEE/CVF CVPR. 2023. P. 2529–2539.
- De Coster M., Van Herreweghe M., Dambre J. Sign Language Recognition with Transformer Networks // Proc. LREC. 2020. P. 6018–6024.
- Yan S., Xiong Y., Lin D. Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition // Proc. AAAI. 2018. Vol. 32.
- Chen Y. et al. Channel-wise Topology Refinement Graph Convolution for Skeleton-Based Action Recognition // Proc. IEEE/CVF ICCV. 2021. P. 13359–13368.
- Cheng K.L. et al. Fully Convolutional Networks for Continuous Sign Language Recognition // Proc. ECCV. 2020. P. 697–714.
- Yang Y., Min Y., Chen X. S²Net: Skeleton-aware SlowFast Network for Sign Language Recognition // Proc. ACCV. 2024. P. 319–336.
- Zuo R., Mak B. CLIP-SLA: Exploiting CLIP for Sign Language Understanding // Proc. IEEE/CVF CVPR. 2024. P. 18432–18441.
- Graves A. et al. Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks // Proc. ICML. 2006. P. 369–376.