Skip to content

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

1 Commit
 
 
 
 
 
 
 
 

Repository files navigation

CRPT Docs Parser

Парсер документации API ГИС МТ / «Честный знак» (ЦРПТ) с сайта docs.crpt.ru/gismt. Складывает методы API в markdown-файлы для локальной базы документации.

Особенность

Страницы docs.crpt.ru/gismt/<Документ>/ — это статический HTML: весь контент лежит прямо в разметке (1–6 МБ на страницу), а не подгружается через redoc/Swagger/SPA. Поэтому парсер обходится requests + BeautifulSoup без Playwright и браузера.

Что тянется

API-документы, релевантные обороту лёгкой промышленности и карточкам Национального каталога (табак/мех/ЭДО — другие товарные группы — не входят):

Документ Содержание
True_API True API ГИС МТ (оборот, вывод, документы, НК-фиды)
API_НК API Национального каталога (карточки товаров)
Инструкция_по_работе_с_API Общая инструкция по API
Получение_токена Динамический клиентский токен
Выгрузки_True_API Формирование выгрузок данных о кодах
Отключение_устаревших_методов_True_API Устаревшие методы и замены
Exchange_True_API Анонсы изменений True API
Анонс_API_НК Анонсы изменений API НК

Полный перечень API-документов — на docs.crpt.ru/gismt/Раздел_для_разработчиков. Добавить документ — вписать URL в словарь DOCUMENTS в crpt_docs_parser.py.

Раскладка

<OUT_ROOT>/<Документ>/NNN_<slug>.md   # один файл на секцию (метод/раздел)
<OUT_ROOT>/<Документ>/_index.md       # оглавление со ссылками

Каждый файл — с YAML-фронтматтером (document, section, level, source, extracted). Документ режется по заголовкам h1h4 (один заголовок → один файл). Страница без заголовков (например «Отключение устаревших методов» — одна таблица) сохраняется целиком одним файлом.

OUT_ROOT берётся из переменной окружения DOCS_OUT_ROOT, иначе — папка ./md рядом со скриптом.

Запуск

pip install -r requirements.txt
python crpt_docs_parser.py                 # все документы
python crpt_docs_parser.py API_НК True_API # выбранные

Входит в общий оркестратор update_docs_bases.py под slug crpt:

python update_docs_bases.py crpt           # только CRPT
python update_docs_bases.py                 # все парсеры (WB / OZ / YA / Lamoda / CRPT)

About

Парсер документации API ГИС МТ / Честный знак (ЦРПТ): docs.crpt.ru/gismt → база MD. Статичный HTML через BeautifulSoup, без Playwright.

Topics

Resources

Stars

Watchers

Forks

Releases

Packages

Contributors

Languages