Гибридная модель автоматической тематической классификации текстов на узбекском языке и её программная реализация

Семинар: Информационно-вычислительные технологии в задачах поддержки принятия решений
Начало заседания: 11:00

Дата выступления: 10 Ноябрь 2026

Организация: НГУ (Новосибирск)

Авторы: Мадиримов Шохрух Уктам угли

Рассматривается задача автоматической тематической классификации текстов на узбекском языке в условиях ограниченных размеченных ресурсов. Узбекский язык агглютинативный: от одной лексемы образуются десятки словоформ. Кроме того, параллельно используются кириллица и латиница, а буквы «oʻ» и «gʻ» имеют более пятнадцати юникодных вариантов написания.

Предложен оператор канонической нормализации, объединяющий транслитерацию, унификацию апострофических символов и морфологически ориентированную токенизацию; показана инвариантность лексического скоринга к графическим вариантам записи.

Построена вероятностная модель скоринга на основе 1 377 взвешенных n-грамм по шести тематическим категориям с softmax-нормализацией.

Разработана гибридная схема принятия решений: нейросетевой и правило-ориентированный контуры объединяются через адаптивный вес слияния λ(x), а режим отказа от классификации формализован как минимизация условного байесовского риска.

Для экспериментов сформирован аннотированный корпус из 14 000 документов. На независимой тестовой выборке достигнуто значение Macro-F1 = 0,836: доля ошибок по сравнению с исходным n-граммным модулем снижена на 20,8 %, качество соответствует дообученной модели mBERT при 13-кратном ускорении и без использования GPU.

Модель реализована в виде программного комплекса (Python, FastAPI, React.js) и апробирована в хокимияте Тупроккалинского района Хорезмской области и в ООО «IT PARK XORAZM»: обработано 3 847 обращений, время первичной обработки сокращено на 25–26 %, доля ручных перенаправлений снизилась с 38 % до 14 %.

Результаты опубликованы в трёх статьях в журналах, индексируемых в Scopus и Web of Science.

Семинар будет проведен в смешанном формате. Очное заседание пройдет в конференц-зале ФИЦ ИВТ (к.513), дистанционно к семинару можно будет подключиться по ссылке https://vcs-6.ict.nsc.ru/rooms/grz-ayy-7ne/join

Для студентов и аспирантов, находящихся в Новосибирске и не имеющих причин для дистанционного подключения, очное присутствие обязательно.