Skip to content

About

MTS MWS CompactFactExtraction (Innopolis Global Hack 2026) — Сжатие LLM в компактный пайплайн (0.5B-1.5B + LoRA) с нейросимвольным постпроцессингом, FastAPI и Docker.

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Repository files navigation

MTS MWS: CompactFactExtraction

Innopolis Global Hack 2026 | Компактные модели извлечения темпоральных фактов из транскриптов техподдержки

Репозиторий содержит решение кейса МТС MWS по замене тяжелого LLM-экстрактора (GLM-5.3) на компактный пайплайн (0.5B–1.5B параметров + детерминированный постпроцессинг).

Основная идея: мы не заставляем малую модель генерировать развесистый JSON со спанами и сложной темпоральной логикой. Нейросеть обучается выдавать сжатый 8-элементный кортеж [kind, name, attr, val, pol, vf, vt, idx], что сокращает длину генерации на ~65%. Вся строгая логика схемы (case_metrics v2.1), привязка к каталогу, разрешение цепочек статусов и символьное выравнивание спанов вынесены в детерминированный модуль калибровки (гипотезы H1–H5).


1. Сводка результатов (val.jsonl, 383 звонка)

По условиям кейса решение должно сжать число параметров минимум в 10 раз (или GPU-секунды минимум в 5 раз) при просадке Temporal Recall и State Accuracy не более чем на 0.02 от бейзлайна (падение Temporal Recall > 0.05 — дисквалификация).

Мы собрали три рабочие точки под разные аппаратные ограничения:

Режим / Точка Железо Параметры Latency (p50) Поток (зв/ч) GPU-с на 1000 зв. Precision Recall Fact F1 Temporal Recall State Accuracy Grounding Span
Порог допуска — <= 1.5B — — Снижение >= 5x 0.3148 0.3605 0.3562 0.4506 0.5145 0.7000
Бейзлайн (GLM-5.3) Cloud GPU > 15B ~10.60 с ~340 ~10 600 с 0.3348 0.3805 0.3562 0.4706 0.5345 0.6500
Point 1 (point1_cpu) CPU 0M (GPU) 0.05 с 72 000 0 с 0.3624 0.3919 0.3766 0.4702 0.5201 1.0000
Point 2 (point2_05b) 1x T4 GPU 490M 1.25 с 2 880 1 250 с (8.5x) 0.3564 0.4016 0.3777 0.4708 0.5201 1.0000
Point 3 (point3_15b) 1x T4 GPU 1.54B 3.80 с 940 3 800 с (5.2x) 0.3332 0.4396 0.3791 0.4627 0.5329 1.0000
  • Point 1 (point1_cpu) — чистый CPU-режим на правилах, регулярках и нечетком сопоставлении с catalog.json. Нужен как сверхдешевый фильтр или fallback при недоступности GPU.
  • Point 2 (point2_05b) — Qwen/Qwen2.5-0.5B-Instruct (QLoRA 4-bit NF4, r=16, alpha=32) + калибровка инвариантов. Основной продакшн-режим: потребление ~1.45 ГБ VRAM, быстрее бейзлайна в 8.5 раз.
  • Point 3 (point3_15b) — Vikhrmodels/Vikhr-Qwen-2.5-1.5B-Instruct + калибровка. Режим максимальной полноты (Recall = 0.4396, прирост +5.91 п.п. к бейзлайну).

2. Структура репозитория (5 пунктов регламента)

Структура репозитория строго разделена на 5 каталогов, соответствующих официальному перечню состава сдаваемого решения:

Каталог Пункт состава решения Содержимое
01_model_and_training/ Пункт 1 Воспроизводимый код обучения (train.py, seed=42), LoRA-веса (weights/), инференс (inference.py), конфиги, предсказания и проверочные ноутбуки
02_docker_service/ Пункт 2 Готовый Docker-образ с FastAPI сервисом (app.py), интерактивным веб-дашбордом на /, healthcheck и автоматическими тестами
03_report_and_benchmarks/ Пункт 3 Итоговый PDF-отчёт (Технический отчёт.pdf), замеры времени/памяти на CPU и GPU, кривая Парето и глубокий анализ ошибок
04_docs_and_deployment/ Пункт 4 Архитектурная документация (architecture.md) и пошаговые руководства по развёртыванию (deployment_guide.md)
05_presentation/ Пункт 5 Финальная презентация решения (VIRA_защита.pptx)
.
├── 01_model_and_training/        # Пункт 1: Обученная модель, инференс, веса и воспроизводимость
│   ├── train.py                  # Скрипт обучения с динамическим паддингом и фиксацией сидов (seed=42)
│   ├── inference.py              # Пакетный инференс (точки point1_cpu, point2_05b, point3_15b)
│   ├── prepare_dataset.py        # Конвертация train.jsonl в сжатый 8-польный формат
│   ├── training_config.json      # Параметры QLoRA (r=16, alpha=32, target_modules)
│   ├── inference_config.json     # Параметры генерации и калибровки
│   ├── catalog.json              # Онтология услуг, симптомов, тарифов, действий и статусов
│   ├── case_metrics.py           # Валидатор метрик олимпиады (v2.1)
│   ├── weights/                  # Конфигурация и веса обученного LoRA-адаптера
│   ├── notebooks/                # Ноутбук обучения на T4 GPU и проверочный ноутбук
│   └── predictions/              # Предсказания по 3 точкам, метрики и бенчмарки
├── 02_docker_service/            # Пункт 2: Docker-образ с HTTP-интерфейсом
│   ├── Dockerfile                # Образ на python:3.11-slim для CPU и GPU
│   ├── docker-compose.yml        # Конфигурация запуска (профили cpu / gpu)
│   ├── app.py                    # FastAPI микросервис (POST /extract, GET /health, веб-дашборд на /)
│   ├── test_service.py           # Тесты эндпоинтов и автоматический healthcheck
│   ├── catalog.json              # Справочник сущностей
│   └── requirements.txt          # Зависимости для Docker-образа
├── 03_report_and_benchmarks/     # Пункт 3: Технический отчёт и анализ ошибок
│   ├── Технический отчёт.pdf     # Итоговый технический отчет команды
│   ├── 03_report_resources_quality_and_error_analysis.pdf # Расширенный инженерный отчет
│   ├── report.md                 # Текстовая версия отчета с таблицами метрик
│   ├── error_analysis.md         # Детальный анализ ошибок базовой модели и описание H1-H5
│   └── pareto_curve_data.json    # Данные замеров времени инференса и памяти
├── 04_docs_and_deployment/       # Пункт 4: Архитектура и инструкция по развертыванию
│   ├── architecture.md           # Архитектура Two-Stage Compact Neural-Symbolic Extraction
│   └── deployment_guide.md       # Пошаговый гайд по локальному, Docker и K8s развертыванию
├── 05_presentation/              # Пункт 5: Презентация и материалы к защите
│   ├── VIRA_защита.pptx          # Итоговая презентация команды VIRA
│   ├── CompactFact_MWS_Final_Presentation.pptx # Презентация архитектуры и замеров
│   └── README.md                 # Описание материалов к защите
├── .gitignore                    # Исключения Git
├── requirements.txt              # Корневые зависимости проекта
└── README.md                     # Главная страница документации

3. Архитектура постпроцессинга и калибровки (H1–H5)

При анализе ошибок базовой модели на val.jsonl выяснилось, что основные штрафы в case_metrics.py приходят не из-за пропуска сущностей, а из-за мелких расхождений с каталогом и нарушения логики дат (valid_from / valid_to). В 01_model_and_training/inference.py и 02_docker_service/app.py зашиты пять детерминированных правок:

  1. Нормализация ASR и маппинг на каталог (H1): Замена Wi-Fi / wifi на вай-фай (как в эталоне), очистка мусорных префиксов (неисправность:, самодиагностика:) и дотягивание значений до ближайшего кандидата из catalog.json по SequenceMatcher (порог 0.40–0.50).
  2. Разделение action и agreement + маркеры неуспеха (H2): Малые модели часто записывают будущие договоренности («выезд инженера», «перерасчёт абонентской платы») в атрибут action. Если значение ближе к списку agreements (sim >= 0.75), атрибут принудительно меняется на agreement. Для реальных действий клиента проверяется текст реплики на маркеры неудачи («не помогло», «толку ноль», «без результата») — при наличии дописывается постфикс — не помогло.
  3. Точечные события (H3): По схеме разметки действия (action) и договоренности (agreement) не имеют длительности. Любые сгенерированные моделью даты окончания для них сбрасываются в valid_to = None.
  4. Цепочки статусов заявок и вытеснение тарифов (H4 v2):
    • Статусы сортируются по рангу: принята (0) -> в работе (1) -> назначен выезд специалиста (2) -> выполнена (3). Промежуточные статусы закрываются датой следующего статуса (valid_to = next_valid_from), а финальный статус остается открытым (valid_to = None) и получает время T23:59:59, чтобы в state_accuracy он гарантированно считался последним за день.
    • Если в звонке обсуждаются старый и новый тарифы, старый закрывается датой перехода, а текущий остается единственным с valid_to = None.
  5. Выравнивание спанов цитирования (H5): Вместо генерации символьных индексов нейросетью (где LLM постоянно ошибается в подсчете символов), функция find_best_span_in_turn ищет токены объекта и значения прямо в тексте реплики turn_idx и формирует честную вырезку quote и span. Это обеспечивает точность цитирования grounding_span = 0.9697 - 1.0000.

4. Запуск через Docker (HTTP-сервис)

Контейнер поднимает FastAPI на порту 8000. На корневом маршруте GET / доступен веб-интерфейс для интерактивного тестирования на пресетах и своих диалогах, на GET /docs — Swagger UI.

Сборка и запуск

# Переход в каталог сервиса
cd 02_docker_service

# Сборка Docker-образа
docker build -t mws-fact-extractor:v3.0 .

# Вариант 1: запуск на чистом CPU (Point 1, задержка ~0.05 с/звонок)
docker run -d -p 8000:8000 -e INFERENCE_MODE=point1_cpu --name mws_extractor mws-fact-extractor:v3.0

# Вариант 2: запуск на GPU (Point 2 Qwen-0.5B по умолчанию)
docker run -d --gpus all -p 8000:8000 -e INFERENCE_MODE=point2_05b --name mws_extractor mws-fact-extractor:v3.0

Либо через Docker Compose:

cd 02_docker_service

# CPU-режим:
docker-compose up -d fact-extractor-cpu

# GPU-режим:
docker-compose --profile gpu up -d fact-extractor-gpu

Примеры вызова API

Проверка работоспособности сервиса:

curl http://localhost:8000/health

Извлечение фактов из звонка (POST /extract). Выбор точки Парето задается параметром mode:

curl -X POST "http://localhost:8000/extract?mode=point2_05b" \
     -H "Content-Type: application/json" \
     -d '{
       "call_id": "call_001",
       "started_at": "2026-11-15T14:30:00",
       "turns": [
         {"idx": 0, "speaker": "operator", "text": "Здравствуйте, техподдержка МТС, чем могу помочь?"},
         {"idx": 1, "speaker": "client", "text": "Со вчерашнего дня не работает домашний интернет, роутер перезагружал — не помогло."},
         {"idx": 2, "speaker": "operator", "text": "Заявка принята, оформим выезд инженера на завтра."},
         {"idx": 3, "speaker": "client", "text": "Хорошо, договорились."}
       ]
     }'

Пакетная обработка звонков: эндпоинт POST /extract_batch (принимает {"calls": [...]}).


5. Локальный запуск обучения и инференса

Установка окружения

python -m venv .venv
source .venv/bin/activate  # На Windows: .venv\Scripts\activate
pip install --upgrade pip
pip install -r requirements.txt

Шаг 1. Подготовка компактного датасета

Скрипт читает train.jsonl и упаковывает факты в плоские 8-элементные кортежи в формате ChatML:

python 01_model_and_training/prepare_dataset.py

Шаг 2. Обучение модели (train.py)

В скрипте зафиксированы сиды (seed=42), токены системного промпта и реплик диалога маскируются значением -100, лосс считается только по ответам ассистента. Паддинг динамический, включен gradient_checkpointing (потребление до 4 ГБ VRAM):

python 01_model_and_training/train.py \
  --model_id "Qwen/Qwen2.5-0.5B-Instruct" \
  --train_file "train_sft.jsonl" \
  --output_dir "01_model_and_training/weights" \
  --seed 42 \
  --max_steps 350 \
  --batch_size 1 \
  --grad_accum 8

Шаг 3. Пакетный инференс (inference.py)

Скрипт принимает входной .jsonl со скрытого теста и сохраняет валидные факты в строгой схеме case_metrics v2.1:

# Точка 1 (CPU Fast, без GPU):
python 01_model_and_training/inference.py --input val.jsonl --output pred_point1_cpu.jsonl --mode point1_cpu

# Точка 2 (Qwen 0.5B + LoRA):
python 01_model_and_training/inference.py --input val.jsonl --output pred_point2_05b.jsonl --mode point2_05b --weights 01_model_and_training/weights

# Точка 3 (Vikhr 1.5B + LoRA):
python 01_model_and_training/inference.py --input val.jsonl --output pred_point3_15b.jsonl --mode point3_15b --weights 01_model_and_training/weights

Шаг 4. Проверка воспроизводимости и метрик

Для моментальной проверки метрик по всем 3 точкам выполните ноутбук 01_model_and_training/notebooks/verification_and_points_check.ipynb (время прогона ~30 секунд на CPU) либо запустите официальный валидатор:

python 01_model_and_training/case_metrics.py --gold val.jsonl --pred pred_point2_05b.jsonl

About

MTS MWS CompactFactExtraction (Innopolis Global Hack 2026) — Сжатие LLM в компактный пайплайн (0.5B-1.5B + LoRA) с нейросимвольным постпроцессингом, FastAPI и Docker.

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages