Сейчас реализовано:
- водительское удостоверение РФ (пластик 2011+, лицевая сторона) — режим
card; - произвольный текст / лист договора (
free_text) — режимpage: упорядоченный текст (с колонками) + реквизиты с проверкой (ИНН 10/12, КПП, БИК, р/с и к/с по ключу БИК, СНИЛС, ОГРН/ОГРНИП, паспорт, телефоны, даты, e-mail, организации, ФИО) иvalid-флагами. Заготовки (пока только опознаются): паспорт РФ, СТС, СНИЛС-карта.
Всё работает локально: никакие картинки/тексты никуда не отправляются. Модели лежат в репозитории
(docrec/models, 13 МБ + docrec/data/yunet.onnx, 0.2 МБ), интернет после установки не нужен.
- Находит 4 угла карточки (маски Otsu / расстояние от цвета фона / Canny → четырёхугольник → подтягивание сторон по градиенту, точность ~1–3 px), выпрямляет перспективу в 1026×648 px (12 px/мм, формат ID-1).
- OCR всей карточки: Tesseract 5.5 (tessdata_best, rus+eng) через
tesserocr— движок внутри wheel, ставить в систему ничего не нужно; ~170–190 МБ RAM. Запасной движок — RapidOCR PP-OCRv5 mobile (--engine paddle, ~350 МБ RAM): включается автоматически только если результат Tesseract слабый (мелкая латиница на шумном фоне) и пакетrapidocrустановлен. Если тип не опознан — пробует повернуть на 180°, затем «весь кадр = документ» (для сканов) и режимpage. - Классифицирует тип документа (ключевые слова с нечётким сравнением + структурные признаки) по реестру типов.
- Запускает экстрактор именно этого типа: зоны шаблона (в долях карточки) + регулярки/валидаторы, автокалибровка шаблона по подписям полей «1. 2. 3. 4a) 4c) 5. 8.».
- Вырезает фото водителя по шаблону и проверяет лицо детектором YuNet (OpenCV).
-
ГРЗ прицепа (
ББ ЦЦЦЦ РР), ЭПТС (15 цифр) рядом со старым ПТС, категория «Прицеп/O4», отдельные подписи «Марка»/«Модель» (кириллица, затем латиница). -
Блик на ламинате (
docrec/glare.py): маска пересвеченных пятен; поля под бликом помечаютсяpartialс пониженной уверенностью и предупреждениемglare— значения не «дорисовываются». -
Оборот СТС:
owner_type(legal_entity/sole_proprietor/individual), двуязычный собственник (owner+owner_lat), склейка переноса слова без дефиса в особых отметках («СОБСТВЕН НИК» → «СОБСТВЕННИК»), обрезанная дата выдачи отдаётся какpartial. -
Разделение слоёв по шрифту (
docrec/fontsep.py): печатные подписи (тонкий засечный шрифт, бледные) и вписанные значения (жирный чёрный рубленый/матричный) разделяются по компонентам связности — относительная толщина штриха (distance transform), высота глифа, порядок «подпись → значение» по строкам (Viterbi); получаются слой значений и слой подписей (out/<файл>/в отладке). Слой подписей читается для привязки, слой значений — Paddle, значения привязываются к ближайшей по строке подписи. Если слои не разделимы (dprime < 1.2) или ядро полей не прочитано — прежний путь по яркости, лучшее значение по каждому полю. -
Крупная карточка перепроецируется в 1056×1500 (малый размер — прежние 704×1000). Блики: частично видимые справочные значения (экокласс «НЕ УСТАНОВЛЕНО») достраиваются только до слова словаря; число/номер «из воздуха» не выдаётся.
-
Оборот СТС нового образца (
sts_back_b.py): подписи «Субъект Российской Федерации / Населенный пункт / Корпус (строение) / Дата выдачи»; ФИО физлица пятью строками (фамилия, имя, отчество + латиница:owner_surname/name/patronymic,owner_surname_lat/name_lat), строки чёрной печати читаются отдельно (слипшиеся строки режутся по проекции), плохо читаемое слово сверяется с латинским дублем (обратная ICAO-транслитерация);power_kw/power_hpиз особых отметок («Л.» / «С» с переносом → «Л.С.»), код ГИБДД, номер сверху (красный) и вертикальный справа (чёрный) —sts_numberсверяется. -
Несколько файлов:
python recognize.py front.png back.png --out out/→combined.json(documents,cross_check— совпадение номера СТС / ВУ на лице и обороте).
python -m venv .venv && . .venv/bin/activate # Windows: .venv\Scripts\activate
pip install -r requirements.txt
python recognize.py photo.jpg --out out/ # --mode auto|card|page, --fast (tessdata_fast), --engine tess|paddleРезультат в out/: result.json, card.jpg (выпрямленная карточка), photo.jpg (фото водителя),
debug.jpg (исходник с найденной рамкой и углами TL/TR/BR/BL), debug_card.jpg (карточка с боксами OCR и зонами шаблона).
Из Python:
from docrec import DocumentPipeline
p = DocumentPipeline(threads=2)
res = p.process("photo.jpg", "out/") # dict, тот же что result.jsonФормат result.json: doc_type, confidence, type_scores, corners (TL,TR,BR,BL в пикселях исходника),
fields (каждое: value, confidence, иногда note), photo (проверка лица), files, warnings, timings_sec, peak_rss_mb.
Поля ВУ: surname, surname_lat, given_names (+ name, patronymic), given_names_lat, birth_date, birth_place,
birth_place_lat, issue_date, expiry_date, issuer (+issuer_code, issuer_lat), number (формат NN NN NNNNNN),
region, region_lat, categories (список).
python recognize.py contract.jpg --out out/ --mode page (в auto включается сам, если рамка карточки не найдена или тип не опознан).
- Автоповорот 90/180/270° (Tesseract OSD; при неуверенности — перебор по средней уверенности OCR).
- OCR → строки/сегменты (разрыв > 3.5 % ширины режет колонки) → фильтр шума (одиночные символы, низкая уверенность + короткие,
синие чернила печатей/штампов с низкой уверенностью) → постобработка (
docrec/postproc.py): двойники кириллица↔латиница и цифр-двойники по контексту, словарь реквизитов (ИНН/КПП/БИК/ОГРН/СНИЛС/ООО/ПАО…, «HHH 2353…» → «ИНН 2353…»), регистр («ПолУЧатеЛЬ» → «Получатель»), порядок чтения XY-cut с «перемычками» (заголовок на всю ширину не ломает колонки). - Стороны договора (ЗАКАЗЧИК / ИСПОЛНИТЕЛЬ / ПОКУПАТЕЛЬ …) → реквизиты по каждой стороне (
docrec/requisites.py), контрольные суммы, авто-исправление одной цифры по контрольной сумме (только из типичных путаниц OCR, и только если вариант единственный).
result.json страницы: text (в порядке чтения), lines (текст, confidence, box_rel, raw_text если правили), parties[]
(role, name, requisites[]), requisites[] (плоский список: type, value, valid, confidence, party, note),
validation_issues, noise_filtered, page_rotation_applied_ccw, timings_sec, peak_rss_mb. Файлы: text.txt, page_rotated.jpg, debug.jpg (боксы с номерами порядка).
- Создайте
docrec/doctypes/passport_rf.py(по образцуdriver_license.py):
from .base import DocType, Extraction, Field, register, in_zone
@register
class PassportRF(DocType):
name = "passport_rf"
card_size = (1500, 1056) # размер нормализованного разворота, px
aspect = 125 / 88
keywords = [("ПАСПОРТ ВЫДАН", 2), ("КОД ПОДРАЗДЕЛЕНИЯ", 2), ("ДАТА РОЖДЕНИЯ", 1)] # (фраза, вес)
def extract(self, card, lines, rec=None) -> Extraction:
ZONES = {"surname": (0.30, 0.45, 0.95, 0.52), ...} # доли ширины/высоты карточки
ex = Extraction(photo_zone=(0.05, 0.50, 0.30, 0.95))
ex.fields["surname"] = Field("ИВАНОВ", 0.97)
return ex- Добавьте импорт в
docrec/doctypes/__init__.py. Всё: классификатор подхватит тип из реестра, пайплайн перевыпрямит документ подcard_sizeи вызоветextract. Удалите заглушку изstubs.py, если она есть. - Удобно отлаживать по
debug_card.jpg(зелёные прямоугольники — зоны шаблона, синие — боксы OCR).rec(img)— распознавание готового кропа одной строки (для мелкого/рамочного текста: перечитать кроп с апскейлом).
Карточка (ВУ): ≈1.0–1.4 c, пик RAM ≈ 165–190 МБ (Tesseract однопоточный; --fast быстрее на ~30 %, чуть хуже по кириллице).
Страница 1600×1200: ≈1.9 c (OSD 0.3 + OCR 1.4 + постобработка <0.01), пик RAM ≈ 220 МБ.
Запасной Paddle-проход добавляет ≈1–2 c и поднимает пик RAM до ~350 МБ — только при слабом результате. См. tools/bench.py, bench/.
tools/make_synthetic.py делает тестовые «фото» с вымышленными данными на основе публичного образца
(Wikimedia Commons, public domain) и лицом из scikit-image (NASA). tools/eval_synth.py считает точность полей и ошибку углов.
- Лицевая сторона ВУ 2011+. Старые ВУ (1999–2011), оборот (категории/даты по таблице), ВУ-2020 с другой версткой — не проверялись.
- Зоны шаблона подобраны по образцу 2011 года; на реальных фото проверяйте по
debug_card.jpg. - Мелкая латиница (поля «_lat») на плохих фото читается с ошибками — для них в
noteпишется транслитерация кириллицы (ICAO). - Tesseract не читает совсем мелкую латиницу (<~10 px) и плохо переносит сильный блик — для таких снимков срабатывает Paddle-запас (если установлен).
- Режим
page: печати поверх текста закрывают слова (теряются), наклон страницы >10–15° не выпрямляется (только 90° шаги). - Низкое разрешение (карточка < ~700 px по ширине) резко ухудшает цифры; выставляется
warnings: low_resolution. - Нет детектора блика/размытия; нет MRZ (для паспорта понадобится отдельный распознаватель).
- Для тяжёлых случаев есть полноценная альтернатива: https://github.com/protei300/RussianDocsOCR (MIT, ~275 МБ моделей, ~1.9 ГБ RAM, Python ≤3.12).
Лист/разворот без основного разворота (например стр. 4–5): поворот, разрез по сгибу, pages:[{page_number, page_number_source, kind, stamps:[…]}].
Номер страницы — бледная цифра в круге (выравнивание фона, CLAHE, только цифры: Tesseract + Paddle, голосование); запасные источники — заголовок
(МЕСТО ЖИТЕЛЬСТВА 5–12, ВОИНСКАЯ ОБЯЗАННОСТЬ 13, СЕМЕЙНОЕ ПОЛОЖЕНИЕ 14, ДЕТИ 16–17) и чётность (слева чётные, справа нечётные). kind: empty / registration / other.
Штамп: тип (ЗАРЕГИСТРИРОВАН / СНЯТ С РЕГИСТРАЦИОННОГО УЧЕТА), печатный орган (лексикон), дата; рукописный текст — только best-effort с низкой уверенностью.
Перфорированная серия/номер внизу (точечные цифры): замыкание + OCR цифр, позиционное голосование — только для сверки.
Маленькая карточка на большом белом листе вырезается и увеличивается (Lanczos + резкость). Таблица категорий читается по линиям сетки (строки сопоставляются
с фиксированным порядком A, A1, B, B1, C, C1, D, D1, BE, CE, C1E, DE, D1E, M, Tm, Tb — буквы не читаются); строка «открыта», если есть даты.
categories:[{category, open, date_from, date_to, notes, confidence}], licence_expiry, number, field_14. Даты согласуются: срок окончания общий для строк,
date_from ≤ date_to; восстановленные подстановкой цифр помечаются в note, уверенность снижается.
Поле 14: experience_since (год, «стаж с 1992г.»), restrictions (очки / контактные линзы), красный номер читается по разности каналов R−G + Paddle; expired — срок действия licence_expiry относительно сегодняшней даты.