Описан современный подход к разработке вопрос-контекст-ответной системы, предназначенной для информационной поддержки территориального управления и повышения природной и техногенной безопасности сибирских регионов. В основе системы лежат большие языковые модели (LLM), применяющие метод генерации с дополнением контекста (Retrieval-Augmented Generation) для контекстно-зависимых ответов на пользовательские запросы. Продемонстрирован гибридный подход к построению RAG-системы на основе цепочки моделей извлечения и реранжирования текстовой информации. Описана работа моделей семантического поиска bge-m3, ключевого поиска BM25, расширения контекстной информации через граф знаний Neo4j, оценки фильтрации через модель ColBERT и реранжирования на базе bge-reranker-v2-m3. Представлен метод формирования финальных промптов на основе расширения документных блоков для LLM. Дополнительно показан процесс разбивки и разметки исходных текстов базы знаний, их хранения, доступа и поиска с использованием базы данных PostgreSQL с расширением для хранения векторной информации pgvector. Также приведены процессы настройки платформ Text Generation Interface и VLLM для онлайн-доступа через API к функциям генерации текста LLM. Показаны методы разработки серверной части системы на основе фреймворка FastAPI и клиентской – на базе библиотеки React.

Разработанная система размещена на оборудовании ФИЦ ИВТ и доступна по адресу https://risk-expert.ict.nsc.ru/ в сети Интернет.

Трансляция семинара будет осуществляться на платформе BigBlueButton по ссылке: https://vcs-6.ict.nsc.ru/rooms/nmm-jge-zjd/join.