Skip to content

About

Lightweight offline OCR for Russian documents: driver licence, requisites, JSON output. CPU-only, ~180 MB RAM.

Topics

Resources

Stars

1 star

Watchers

1 watching

Forks

Repository files navigation

docrec — офлайн-распознавание российских документов (CPU, без облака)

Сейчас реализовано:

  • водительское удостоверение РФ (пластик 2011+, лицевая сторона) — режим card;
  • произвольный текст / лист договора (free_text) — режим page: упорядоченный текст (с колонками) + реквизиты с проверкой (ИНН 10/12, КПП, БИК, р/с и к/с по ключу БИК, СНИЛС, ОГРН/ОГРНИП, паспорт, телефоны, даты, e-mail, организации, ФИО) и valid-флагами. Заготовки (пока только опознаются): паспорт РФ, СТС, СНИЛС-карта.

Всё работает локально: никакие картинки/тексты никуда не отправляются. Модели лежат в репозитории (docrec/models, 13 МБ + docrec/data/yunet.onnx, 0.2 МБ), интернет после установки не нужен.

Что делает

  1. Находит 4 угла карточки (маски Otsu / расстояние от цвета фона / Canny → четырёхугольник → подтягивание сторон по градиенту, точность ~1–3 px), выпрямляет перспективу в 1026×648 px (12 px/мм, формат ID-1).
  2. OCR всей карточки: Tesseract 5.5 (tessdata_best, rus+eng) через tesserocr — движок внутри wheel, ставить в систему ничего не нужно; ~170–190 МБ RAM. Запасной движок — RapidOCR PP-OCRv5 mobile (--engine paddle, ~350 МБ RAM): включается автоматически только если результат Tesseract слабый (мелкая латиница на шумном фоне) и пакет rapidocr установлен. Если тип не опознан — пробует повернуть на 180°, затем «весь кадр = документ» (для сканов) и режим page.
  3. Классифицирует тип документа (ключевые слова с нечётким сравнением + структурные признаки) по реестру типов.
  4. Запускает экстрактор именно этого типа: зоны шаблона (в долях карточки) + регулярки/валидаторы, автокалибровка шаблона по подписям полей «1. 2. 3. 4a) 4c) 5. 8.».
  5. Вырезает фото водителя по шаблону и проверяет лицо детектором YuNet (OpenCV).

СТС: прицепы, блики, оборот юрлица

  • ГРЗ прицепа (ББ ЦЦЦЦ РР), ЭПТС (15 цифр) рядом со старым ПТС, категория «Прицеп/O4», отдельные подписи «Марка»/«Модель» (кириллица, затем латиница).

  • Блик на ламинате (docrec/glare.py): маска пересвеченных пятен; поля под бликом помечаются partial с пониженной уверенностью и предупреждением glare — значения не «дорисовываются».

  • Оборот СТС: owner_type (legal_entity / sole_proprietor / individual), двуязычный собственник (owner + owner_lat), склейка переноса слова без дефиса в особых отметках («СОБСТВЕН НИК» → «СОБСТВЕННИК»), обрезанная дата выдачи отдаётся как partial.

  • Разделение слоёв по шрифту (docrec/fontsep.py): печатные подписи (тонкий засечный шрифт, бледные) и вписанные значения (жирный чёрный рубленый/матричный) разделяются по компонентам связности — относительная толщина штриха (distance transform), высота глифа, порядок «подпись → значение» по строкам (Viterbi); получаются слой значений и слой подписей (out/<файл>/ в отладке). Слой подписей читается для привязки, слой значений — Paddle, значения привязываются к ближайшей по строке подписи. Если слои не разделимы (dprime < 1.2) или ядро полей не прочитано — прежний путь по яркости, лучшее значение по каждому полю.

  • Крупная карточка перепроецируется в 1056×1500 (малый размер — прежние 704×1000). Блики: частично видимые справочные значения (экокласс «НЕ УСТАНОВЛЕНО») достраиваются только до слова словаря; число/номер «из воздуха» не выдаётся.

  • Оборот СТС нового образца (sts_back_b.py): подписи «Субъект Российской Федерации / Населенный пункт / Корпус (строение) / Дата выдачи»; ФИО физлица пятью строками (фамилия, имя, отчество + латиница: owner_surname/name/patronymic, owner_surname_lat/name_lat), строки чёрной печати читаются отдельно (слипшиеся строки режутся по проекции), плохо читаемое слово сверяется с латинским дублем (обратная ICAO-транслитерация); power_kw/power_hp из особых отметок («Л.» / «С» с переносом → «Л.С.»), код ГИБДД, номер сверху (красный) и вертикальный справа (чёрный) — sts_number сверяется.

  • Несколько файлов: python recognize.py front.png back.png --out out/ → combined.json (documents, cross_check — совпадение номера СТС / ВУ на лице и обороте).

Установка и запуск

python -m venv .venv && . .venv/bin/activate        # Windows: .venv\Scripts\activate
pip install -r requirements.txt
python recognize.py photo.jpg --out out/            # --mode auto|card|page, --fast (tessdata_fast), --engine tess|paddle

Результат в out/: result.json, card.jpg (выпрямленная карточка), photo.jpg (фото водителя), debug.jpg (исходник с найденной рамкой и углами TL/TR/BR/BL), debug_card.jpg (карточка с боксами OCR и зонами шаблона).

Из Python:

from docrec import DocumentPipeline
p = DocumentPipeline(threads=2)
res = p.process("photo.jpg", "out/")      # dict, тот же что result.json

Формат result.json: doc_type, confidence, type_scores, corners (TL,TR,BR,BL в пикселях исходника), fields (каждое: value, confidence, иногда note), photo (проверка лица), files, warnings, timings_sec, peak_rss_mb.

Поля ВУ: surname, surname_lat, given_names (+ name, patronymic), given_names_lat, birth_date, birth_place, birth_place_lat, issue_date, expiry_date, issuer (+issuer_code, issuer_lat), number (формат NN NN NNNNNN), region, region_lat, categories (список).

Режим page (лист А4 / договор / любой текст)

python recognize.py contract.jpg --out out/ --mode page (в auto включается сам, если рамка карточки не найдена или тип не опознан).

  1. Автоповорот 90/180/270° (Tesseract OSD; при неуверенности — перебор по средней уверенности OCR).
  2. OCR → строки/сегменты (разрыв > 3.5 % ширины режет колонки) → фильтр шума (одиночные символы, низкая уверенность + короткие, синие чернила печатей/штампов с низкой уверенностью) → постобработка (docrec/postproc.py): двойники кириллица↔латиница и цифр-двойники по контексту, словарь реквизитов (ИНН/КПП/БИК/ОГРН/СНИЛС/ООО/ПАО…, «HHH 2353…» → «ИНН 2353…»), регистр («ПолУЧатеЛЬ» → «Получатель»), порядок чтения XY-cut с «перемычками» (заголовок на всю ширину не ломает колонки).
  3. Стороны договора (ЗАКАЗЧИК / ИСПОЛНИТЕЛЬ / ПОКУПАТЕЛЬ …) → реквизиты по каждой стороне (docrec/requisites.py), контрольные суммы, авто-исправление одной цифры по контрольной сумме (только из типичных путаниц OCR, и только если вариант единственный).

result.json страницы: text (в порядке чтения), lines (текст, confidence, box_rel, raw_text если правили), parties[] (role, name, requisites[]), requisites[] (плоский список: type, value, valid, confidence, party, note), validation_issues, noise_filtered, page_rotation_applied_ccw, timings_sec, peak_rss_mb. Файлы: text.txt, page_rotated.jpg, debug.jpg (боксы с номерами порядка).

Как добавить новый тип документа

  1. Создайте docrec/doctypes/passport_rf.py (по образцу driver_license.py):
from .base import DocType, Extraction, Field, register, in_zone

@register
class PassportRF(DocType):
    name = "passport_rf"
    card_size = (1500, 1056)                 # размер нормализованного разворота, px
    aspect = 125 / 88
    keywords = [("ПАСПОРТ ВЫДАН", 2), ("КОД ПОДРАЗДЕЛЕНИЯ", 2), ("ДАТА РОЖДЕНИЯ", 1)]   # (фраза, вес)

    def extract(self, card, lines, rec=None) -> Extraction:
        ZONES = {"surname": (0.30, 0.45, 0.95, 0.52), ...}     # доли ширины/высоты карточки
        ex = Extraction(photo_zone=(0.05, 0.50, 0.30, 0.95))
        ex.fields["surname"] = Field("ИВАНОВ", 0.97)
        return ex
  1. Добавьте импорт в docrec/doctypes/__init__.py. Всё: классификатор подхватит тип из реестра, пайплайн перевыпрямит документ под card_size и вызовет extract. Удалите заглушку из stubs.py, если она есть.
  2. Удобно отлаживать по debug_card.jpg (зелёные прямоугольники — зоны шаблона, синие — боксы OCR). rec(img) — распознавание готового кропа одной строки (для мелкого/рамочного текста: перечитать кроп с апскейлом).

Производительность (CPU, 1 процесс)

Карточка (ВУ): ≈1.0–1.4 c, пик RAM ≈ 165–190 МБ (Tesseract однопоточный; --fast быстрее на ~30 %, чуть хуже по кириллице). Страница 1600×1200: ≈1.9 c (OSD 0.3 + OCR 1.4 + постобработка <0.01), пик RAM ≈ 220 МБ. Запасной Paddle-проход добавляет ≈1–2 c и поднимает пик RAM до ~350 МБ — только при слабом результате. См. tools/bench.py, bench/.

Проверка

tools/make_synthetic.py делает тестовые «фото» с вымышленными данными на основе публичного образца (Wikimedia Commons, public domain) и лицом из scikit-image (NASA). tools/eval_synth.py считает точность полей и ошибку углов.

Ограничения / что дальше

  • Лицевая сторона ВУ 2011+. Старые ВУ (1999–2011), оборот (категории/даты по таблице), ВУ-2020 с другой версткой — не проверялись.
  • Зоны шаблона подобраны по образцу 2011 года; на реальных фото проверяйте по debug_card.jpg.
  • Мелкая латиница (поля «_lat») на плохих фото читается с ошибками — для них в note пишется транслитерация кириллицы (ICAO).
  • Tesseract не читает совсем мелкую латиницу (<~10 px) и плохо переносит сильный блик — для таких снимков срабатывает Paddle-запас (если установлен).
  • Режим page: печати поверх текста закрывают слова (теряются), наклон страницы >10–15° не выпрямляется (только 90° шаги).
  • Низкое разрешение (карточка < ~700 px по ширине) резко ухудшает цифры; выставляется warnings: low_resolution.
  • Нет детектора блика/размытия; нет MRZ (для паспорта понадобится отдельный распознаватель).
  • Для тяжёлых случаев есть полноценная альтернатива: https://github.com/protei300/RussianDocsOCR (MIT, ~275 МБ моделей, ~1.9 ГБ RAM, Python ≤3.12).

Паспорт: номера страниц, штампы, перфорация (docrec/passport_pagenum.py)

Лист/разворот без основного разворота (например стр. 4–5): поворот, разрез по сгибу, pages:[{page_number, page_number_source, kind, stamps:[…]}]. Номер страницы — бледная цифра в круге (выравнивание фона, CLAHE, только цифры: Tesseract + Paddle, голосование); запасные источники — заголовок (МЕСТО ЖИТЕЛЬСТВА 5–12, ВОИНСКАЯ ОБЯЗАННОСТЬ 13, СЕМЕЙНОЕ ПОЛОЖЕНИЕ 14, ДЕТИ 16–17) и чётность (слева чётные, справа нечётные). kind: empty / registration / other. Штамп: тип (ЗАРЕГИСТРИРОВАН / СНЯТ С РЕГИСТРАЦИОННОГО УЧЕТА), печатный орган (лексикон), дата; рукописный текст — только best-effort с низкой уверенностью. Перфорированная серия/номер внизу (точечные цифры): замыкание + OCR цифр, позиционное голосование — только для сверки.

Водительское удостоверение, оборот (driver_license_back)

Маленькая карточка на большом белом листе вырезается и увеличивается (Lanczos + резкость). Таблица категорий читается по линиям сетки (строки сопоставляются с фиксированным порядком A, A1, B, B1, C, C1, D, D1, BE, CE, C1E, DE, D1E, M, Tm, Tb — буквы не читаются); строка «открыта», если есть даты. categories:[{category, open, date_from, date_to, notes, confidence}], licence_expiry, number, field_14. Даты согласуются: срок окончания общий для строк, date_from ≤ date_to; восстановленные подстановкой цифр помечаются в note, уверенность снижается. Поле 14: experience_since (год, «стаж с 1992г.»), restrictions (очки / контактные линзы), красный номер читается по разности каналов R−G + Paddle; expired — срок действия licence_expiry относительно сегодняшней даты.

About

Lightweight offline OCR for Russian documents: driver licence, requisites, JSON output. CPU-only, ~180 MB RAM.

Topics

Resources

Stars

1 star

Watchers

1 watching

Forks

Releases

Packages

Contributors

Languages