Innopolis Global Hack 2026 | Компактные модели извлечения темпоральных фактов из транскриптов техподдержки
Репозиторий содержит решение кейса МТС MWS по замене тяжелого LLM-экстрактора (GLM-5.3) на компактный пайплайн (0.5B–1.5B параметров + детерминированный постпроцессинг).
Основная идея: мы не заставляем малую модель генерировать развесистый JSON со спанами и сложной темпоральной логикой. Нейросеть обучается выдавать сжатый 8-элементный кортеж [kind, name, attr, val, pol, vf, vt, idx], что сокращает длину генерации на ~65%. Вся строгая логика схемы (case_metrics v2.1), привязка к каталогу, разрешение цепочек статусов и символьное выравнивание спанов вынесены в детерминированный модуль калибровки (гипотезы H1–H5).
По условиям кейса решение должно сжать число параметров минимум в 10 раз (или GPU-секунды минимум в 5 раз) при просадке Temporal Recall и State Accuracy не более чем на 0.02 от бейзлайна (падение Temporal Recall > 0.05 — дисквалификация).
Мы собрали три рабочие точки под разные аппаратные ограничения:
| Режим / Точка | Железо | Параметры | Latency (p50) | Поток (зв/ч) | GPU-с на 1000 зв. | Precision | Recall | Fact F1 | Temporal Recall | State Accuracy | Grounding Span |
|---|---|---|---|---|---|---|---|---|---|---|---|
| Порог допуска | — | <= 1.5B | — | — | Снижение >= 5x | 0.3148 | 0.3605 | 0.3562 | 0.4506 | 0.5145 | 0.7000 |
| Бейзлайн (GLM-5.3) | Cloud GPU | > 15B | ~10.60 с | ~340 | ~10 600 с | 0.3348 | 0.3805 | 0.3562 | 0.4706 | 0.5345 | 0.6500 |
Point 1 (point1_cpu) |
CPU | 0M (GPU) | 0.05 с | 72 000 | 0 с | 0.3624 | 0.3919 | 0.3766 | 0.4702 | 0.5201 | 1.0000 |
Point 2 (point2_05b) |
1x T4 GPU | 490M | 1.25 с | 2 880 | 1 250 с (8.5x) | 0.3564 | 0.4016 | 0.3777 | 0.4708 | 0.5201 | 1.0000 |
Point 3 (point3_15b) |
1x T4 GPU | 1.54B | 3.80 с | 940 | 3 800 с (5.2x) | 0.3332 | 0.4396 | 0.3791 | 0.4627 | 0.5329 | 1.0000 |
- Point 1 (
point1_cpu) — чистый CPU-режим на правилах, регулярках и нечетком сопоставлении сcatalog.json. Нужен как сверхдешевый фильтр или fallback при недоступности GPU. - Point 2 (
point2_05b) —Qwen/Qwen2.5-0.5B-Instruct(QLoRA 4-bit NF4,r=16,alpha=32) + калибровка инвариантов. Основной продакшн-режим: потребление ~1.45 ГБ VRAM, быстрее бейзлайна в 8.5 раз. - Point 3 (
point3_15b) —Vikhrmodels/Vikhr-Qwen-2.5-1.5B-Instruct+ калибровка. Режим максимальной полноты (Recall = 0.4396, прирост +5.91 п.п. к бейзлайну).
Структура репозитория строго разделена на 5 каталогов, соответствующих официальному перечню состава сдаваемого решения:
| Каталог | Пункт состава решения | Содержимое |
|---|---|---|
01_model_and_training/ |
Пункт 1 | Воспроизводимый код обучения (train.py, seed=42), LoRA-веса (weights/), инференс (inference.py), конфиги, предсказания и проверочные ноутбуки |
02_docker_service/ |
Пункт 2 | Готовый Docker-образ с FastAPI сервисом (app.py), интерактивным веб-дашбордом на /, healthcheck и автоматическими тестами |
03_report_and_benchmarks/ |
Пункт 3 | Итоговый PDF-отчёт (Технический отчёт.pdf), замеры времени/памяти на CPU и GPU, кривая Парето и глубокий анализ ошибок |
04_docs_and_deployment/ |
Пункт 4 | Архитектурная документация (architecture.md) и пошаговые руководства по развёртыванию (deployment_guide.md) |
05_presentation/ |
Пункт 5 | Финальная презентация решения (VIRA_защита.pptx) |
.
├── 01_model_and_training/ # Пункт 1: Обученная модель, инференс, веса и воспроизводимость
│ ├── train.py # Скрипт обучения с динамическим паддингом и фиксацией сидов (seed=42)
│ ├── inference.py # Пакетный инференс (точки point1_cpu, point2_05b, point3_15b)
│ ├── prepare_dataset.py # Конвертация train.jsonl в сжатый 8-польный формат
│ ├── training_config.json # Параметры QLoRA (r=16, alpha=32, target_modules)
│ ├── inference_config.json # Параметры генерации и калибровки
│ ├── catalog.json # Онтология услуг, симптомов, тарифов, действий и статусов
│ ├── case_metrics.py # Валидатор метрик олимпиады (v2.1)
│ ├── weights/ # Конфигурация и веса обученного LoRA-адаптера
│ ├── notebooks/ # Ноутбук обучения на T4 GPU и проверочный ноутбук
│ └── predictions/ # Предсказания по 3 точкам, метрики и бенчмарки
├── 02_docker_service/ # Пункт 2: Docker-образ с HTTP-интерфейсом
│ ├── Dockerfile # Образ на python:3.11-slim для CPU и GPU
│ ├── docker-compose.yml # Конфигурация запуска (профили cpu / gpu)
│ ├── app.py # FastAPI микросервис (POST /extract, GET /health, веб-дашборд на /)
│ ├── test_service.py # Тесты эндпоинтов и автоматический healthcheck
│ ├── catalog.json # Справочник сущностей
│ └── requirements.txt # Зависимости для Docker-образа
├── 03_report_and_benchmarks/ # Пункт 3: Технический отчёт и анализ ошибок
│ ├── Технический отчёт.pdf # Итоговый технический отчет команды
│ ├── 03_report_resources_quality_and_error_analysis.pdf # Расширенный инженерный отчет
│ ├── report.md # Текстовая версия отчета с таблицами метрик
│ ├── error_analysis.md # Детальный анализ ошибок базовой модели и описание H1-H5
│ └── pareto_curve_data.json # Данные замеров времени инференса и памяти
├── 04_docs_and_deployment/ # Пункт 4: Архитектура и инструкция по развертыванию
│ ├── architecture.md # Архитектура Two-Stage Compact Neural-Symbolic Extraction
│ └── deployment_guide.md # Пошаговый гайд по локальному, Docker и K8s развертыванию
├── 05_presentation/ # Пункт 5: Презентация и материалы к защите
│ ├── VIRA_защита.pptx # Итоговая презентация команды VIRA
│ ├── CompactFact_MWS_Final_Presentation.pptx # Презентация архитектуры и замеров
│ └── README.md # Описание материалов к защите
├── .gitignore # Исключения Git
├── requirements.txt # Корневые зависимости проекта
└── README.md # Главная страница документации
При анализе ошибок базовой модели на val.jsonl выяснилось, что основные штрафы в case_metrics.py приходят не из-за пропуска сущностей, а из-за мелких расхождений с каталогом и нарушения логики дат (valid_from / valid_to). В 01_model_and_training/inference.py и 02_docker_service/app.py зашиты пять детерминированных правок:
- Нормализация ASR и маппинг на каталог (H1):
Замена
Wi-Fi/wifiнавай-фай(как в эталоне), очистка мусорных префиксов (неисправность:,самодиагностика:) и дотягивание значений до ближайшего кандидата изcatalog.jsonпоSequenceMatcher(порог 0.40–0.50). - Разделение
actionиagreement+ маркеры неуспеха (H2): Малые модели часто записывают будущие договоренности («выезд инженера», «перерасчёт абонентской платы») в атрибутaction. Если значение ближе к спискуagreements(sim >= 0.75), атрибут принудительно меняется наagreement. Для реальных действий клиента проверяется текст реплики на маркеры неудачи («не помогло», «толку ноль», «без результата») — при наличии дописывается постфикс— не помогло. - Точечные события (H3):
По схеме разметки действия (
action) и договоренности (agreement) не имеют длительности. Любые сгенерированные моделью даты окончания для них сбрасываются вvalid_to = None. - Цепочки статусов заявок и вытеснение тарифов (H4 v2):
- Статусы сортируются по рангу:
принята (0)->в работе (1)->назначен выезд специалиста (2)->выполнена (3). Промежуточные статусы закрываются датой следующего статуса (valid_to = next_valid_from), а финальный статус остается открытым (valid_to = None) и получает времяT23:59:59, чтобы вstate_accuracyон гарантированно считался последним за день. - Если в звонке обсуждаются старый и новый тарифы, старый закрывается датой перехода, а текущий остается единственным с
valid_to = None.
- Статусы сортируются по рангу:
- Выравнивание спанов цитирования (H5):
Вместо генерации символьных индексов нейросетью (где LLM постоянно ошибается в подсчете символов), функция
find_best_span_in_turnищет токены объекта и значения прямо в тексте репликиturn_idxи формирует честную вырезкуquoteиspan. Это обеспечивает точность цитированияgrounding_span = 0.9697 - 1.0000.
Контейнер поднимает FastAPI на порту 8000. На корневом маршруте GET / доступен веб-интерфейс для интерактивного тестирования на пресетах и своих диалогах, на GET /docs — Swagger UI.
# Переход в каталог сервиса
cd 02_docker_service
# Сборка Docker-образа
docker build -t mws-fact-extractor:v3.0 .
# Вариант 1: запуск на чистом CPU (Point 1, задержка ~0.05 с/звонок)
docker run -d -p 8000:8000 -e INFERENCE_MODE=point1_cpu --name mws_extractor mws-fact-extractor:v3.0
# Вариант 2: запуск на GPU (Point 2 Qwen-0.5B по умолчанию)
docker run -d --gpus all -p 8000:8000 -e INFERENCE_MODE=point2_05b --name mws_extractor mws-fact-extractor:v3.0Либо через Docker Compose:
cd 02_docker_service
# CPU-режим:
docker-compose up -d fact-extractor-cpu
# GPU-режим:
docker-compose --profile gpu up -d fact-extractor-gpuПроверка работоспособности сервиса:
curl http://localhost:8000/healthИзвлечение фактов из звонка (POST /extract). Выбор точки Парето задается параметром mode:
curl -X POST "http://localhost:8000/extract?mode=point2_05b" \
-H "Content-Type: application/json" \
-d '{
"call_id": "call_001",
"started_at": "2026-11-15T14:30:00",
"turns": [
{"idx": 0, "speaker": "operator", "text": "Здравствуйте, техподдержка МТС, чем могу помочь?"},
{"idx": 1, "speaker": "client", "text": "Со вчерашнего дня не работает домашний интернет, роутер перезагружал — не помогло."},
{"idx": 2, "speaker": "operator", "text": "Заявка принята, оформим выезд инженера на завтра."},
{"idx": 3, "speaker": "client", "text": "Хорошо, договорились."}
]
}'Пакетная обработка звонков: эндпоинт POST /extract_batch (принимает {"calls": [...]}).
python -m venv .venv
source .venv/bin/activate # На Windows: .venv\Scripts\activate
pip install --upgrade pip
pip install -r requirements.txtСкрипт читает train.jsonl и упаковывает факты в плоские 8-элементные кортежи в формате ChatML:
python 01_model_and_training/prepare_dataset.pyВ скрипте зафиксированы сиды (seed=42), токены системного промпта и реплик диалога маскируются значением -100, лосс считается только по ответам ассистента. Паддинг динамический, включен gradient_checkpointing (потребление до 4 ГБ VRAM):
python 01_model_and_training/train.py \
--model_id "Qwen/Qwen2.5-0.5B-Instruct" \
--train_file "train_sft.jsonl" \
--output_dir "01_model_and_training/weights" \
--seed 42 \
--max_steps 350 \
--batch_size 1 \
--grad_accum 8Скрипт принимает входной .jsonl со скрытого теста и сохраняет валидные факты в строгой схеме case_metrics v2.1:
# Точка 1 (CPU Fast, без GPU):
python 01_model_and_training/inference.py --input val.jsonl --output pred_point1_cpu.jsonl --mode point1_cpu
# Точка 2 (Qwen 0.5B + LoRA):
python 01_model_and_training/inference.py --input val.jsonl --output pred_point2_05b.jsonl --mode point2_05b --weights 01_model_and_training/weights
# Точка 3 (Vikhr 1.5B + LoRA):
python 01_model_and_training/inference.py --input val.jsonl --output pred_point3_15b.jsonl --mode point3_15b --weights 01_model_and_training/weightsДля моментальной проверки метрик по всем 3 точкам выполните ноутбук 01_model_and_training/notebooks/verification_and_points_check.ipynb (время прогона ~30 секунд на CPU) либо запустите официальный валидатор:
python 01_model_and_training/case_metrics.py --gold val.jsonl --pred pred_point2_05b.jsonl