АРХИТЕКТУРЫ ГЛУБОКОГО ОБУЧЕНИЯ ДЛЯ НЕПРЕРЫВНОГО РАСПОЗНАВАНИЯ ЖЕСТОВОГО ЯЗЫКА: КОМПЛЕКСНЫЙ АНАЛИЗ ОТ CNN-RNN ДО SLOWFAST СЕТЕЙ

Онаркулов М. К., Юсупов М. А. & Умиржонов Л. А.


Annotatsiya

Распознавание жестового языка представляет собой критически важную технологию, обеспечивающую коммуникационный мост между глухими и слабослышащими сообществами и слышащим миром. Данное исследование представляет комплексный анализ эволюции методов непрерывного распознавания жестового языка с особым акцентом на архитектуру SlowFast, демонстрирующую современный уровень производительности в данной области. В работе детально исследуется двухпутевой дизайн с механизмами двунаправленного слияния признаков и улучшения признаков путей, демонстрирующий эффективный захват как пространственной семантики в форме конфигураций рук и выражений лица, так и временной динамики в виде движений и переходов между знаками. Представленный анализ вычислительной сложности выявляет, что методы на основе скелетных данных достигают двадцати-сорокакратного преимущества в параметрической эффективности по сравнению с видеомоделями при сохранении конкурентоспособной точности. Архитектура SlowFast достигает показателя Word Error Rate 18,28% на эталонном наборе данных PHOENIX-2014, превосходя предшествующие RGB-методы и устанавливая новый стандарт качества для систем, использующих исключительно видеоданные.


Adabiyotlar

  1. World Health Organization. Deafness and Hearing Loss Fact Sheet. 2024.
  2. Bragg D. et al. Sign Language Recognition, Generation, and Translation: An Interdisciplinary Perspective // Proc. ACM ASSETS. 2019. P. 16–31.
  3. Feichtenhofer C., Fan H., Malik J., He K. SlowFast Networks for Video Recognition // Proc. IEEE/CVF ICCV. 2019. P. 6202–6211.
  4. Ahn J., Jang Y., Chung J.S. SlowFast Network for Continuous Sign Language Recognition // Proc. IEEE ICASSP. 2024. P. 3920–3924.
  5. Forster J. et al. Extensions of the Sign Language Recognition and Translation Corpus RWTH-PHOENIX-Weather // Proc. LREC. 2014. P. 1911–1916.
  6. Carreira J., Zisserman A. Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset // Proc. IEEE/CVF CVPR. 2017. P. 6299–6308.
  7. Hu H. et al. Continuous Sign Language Recognition with Correlation Network // Proc. IEEE/CVF CVPR. 2023. P. 2529–2539.
  8. De Coster M., Van Herreweghe M., Dambre J. Sign Language Recognition with Transformer Networks // Proc. LREC. 2020. P. 6018–6024.
  9. Yan S., Xiong Y., Lin D. Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition // Proc. AAAI. 2018. Vol. 32.
  10. Chen Y. et al. Channel-wise Topology Refinement Graph Convolution for Skeleton-Based Action Recognition // Proc. IEEE/CVF ICCV. 2021. P. 13359–13368.
  11. Cheng K.L. et al. Fully Convolutional Networks for Continuous Sign Language Recognition // Proc. ECCV. 2020. P. 697–714.
  12. Yang Y., Min Y., Chen X. S²Net: Skeleton-aware SlowFast Network for Sign Language Recognition // Proc. ACCV. 2024. P. 319–336.
  13. Zuo R., Mak B. CLIP-SLA: Exploiting CLIP for Sign Language Understanding // Proc. IEEE/CVF CVPR. 2024. P. 18432–18441.
  14. Graves A. et al. Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks // Proc. ICML. 2006. P. 369–376.