Применение современных сетей Хопфилда для улучшения нейронных языковых моделей

Семинар: Информационные технологии в задачах филологии и компьютерной лингвистики
Начало заседания: 17:30

Дата выступления: 16 Май 2023

Организация: НГУ (Новосибирск)

Авторы: Берзин Артем Константинович

Нейронные языковые модели успешно применяются в задачах обработки естественного языка, однако с увеличением числа параметров улучшение качества работы модели в зависимости от масштабирования значительно замедляется. В докладе выдвигается гипотеза: сети Хопфилда могут лучше моделировать ассоциативную память, чем нейронные сети прямого распространения. Для проверки предположения проводится сравнение двух BERT-подобных языковых моделей: исходной и модифицированной сети Хопфилда. Предлагается ряд оптимизаций, которые могут быть применены к ряду других нейронных языковых моделей.