Использование современных сетей Хопфилда для обучения нейросетевых алгоритмов распознавания речи на неразмеченных данных

Семинар: Информационные технологии в задачах филологии и компьютерной лингвистики
Начало заседания: 17:30

Дата выступления: 4 Апрель 2023

Организация: НГУ (Новосибирск)

Авторы: Гребенкин Даниил Витальевич

В работе представлена гипотеза: использование «плотной» ассоциативной памяти вместо механизма внимания позволит сделать интегральную модель распознавания речи устойчивой к шумам, реверберационным эффектам и особенностям речи (диалектам, нарушениям произношения). Для проверки данной гипотезы создано две модели на основе нейросетевого алгоритма Wav2Vec2: c механизмом внимания (w2v2-classic-tiny) и с современными сетями Хопфилда (w2v2-hopfield-tiny). Результаты тестирования показали, что обученная на небольшом количестве данных модель со слоями «плотной» ассоциативной памяти имеет лучшее качество, чем модель со стандартной архитектурой. Полученные результаты интерпретированы с помощью анализа различных звуков, предсказанных моделью, с использованием UMAP-проекций и автоматического выравнивания.