Зафиксировать 0.3.0 и опубликовать результат релизного гейта - #47
Merged
Merged
Conversation
added 2 commits
September 5, 2026 08:53
Номер 0.2.0 стоял в коде и в CHANGELOG, но публикации под ним не было: тега нет и релиза нет. Ролевой agentic workflow заменил rule-based pipeline, три endpoint'а генерации свелись к одному, а часть публичных модулей удалена — это ломающее изменение, и оно получает собственный номер, а не дописывается в чужой. Раздел 0.2.0 остаётся в истории как внутренняя веха и помечен как неопубликованный.
Первый полный прогон со слепым набором на 3cbd432 вернул ok: false. Живой корпус пройден 6 из 6 при нуле правок, стабильность и smoke зелёные, но слепой набор — 3 из 8, с одним invalid success и проваленным кейсом безопасности. Разрыв между 6 из 6 и 3 из 8 и есть результат методики: оценка на корпусе, который автор писал сам, систематически завышена. Invalid success — нарушение центрального контракта проекта, а не строчка статистики, поэтому тег и релиз не создаются. Свидетельство прогона опубликовано целиком; слепой набор представлен агрегатами и хешем, идентификаторы и содержимое кейсов в артефакт не попадают. Гейт заодно чинится в своей диагностике: условие invalid_success_rate == 0.0 стояло внутри проверки формы отчёта, и промах по качеству отчитывался как «отчёт невалиден». По списку провалов нельзя было понять, что именно случилось. holdout-v2 израсходован: набор одноразовый, следующая попытка требует нового.
Ev0lv3nta
changed the title
Читатель, дошедший до третьего абзаца README, принимал fail-closed за факт. Это цель конструкции; последний прогон гейта нашёл на слепом наборе случай, где контракт был нарушён, и абзац теперь на это указывает.
Ev0lv3nta
added a commit
that referenced
this pull request
Sep 5, 2026
Номер 0.2.0 стоял в pyproject.toml, app/main.py и в заголовке CHANGELOG, но публикации под ним не было: ни тега, ни релиза. Ролевой agentic workflow заменил rule-based pipeline, три endpoint'а генерации свелись к одному, реестр семейств задач удалён — это ломающее изменение, и оно получает собственный номер. Первый полный прогон гейта со слепым набором на 3cbd432 вернул ok: false. Живой корпус пройден 6 из 6 при нуле правок, стабильность и smoke зелёные, слепой набор — 3 из 8, с одним invalid success и проваленным кейсом безопасности. Разрыв между 6 из 6 и 3 из 8 и есть результат методики: оценка на корпусе, который автор писал сам, систематически завышена. Invalid success — нарушение центрального контракта, поэтому тег v0.3.0 и GitHub Release не создаются. Свидетельство прогона опубликовано целиком в docs/evidence/release-gate-3cbd432.json; слепой набор представлен именем, SHA-256, числом кейсов и агрегатами, без пути и покейсных идентификаторов. holdout-v2 израсходован: набор одноразовый. Гейт починен в своей диагностике: условие invalid_success_rate == 0.0 стояло внутри проверки формы отчёта, и промах по качеству отчитывался как испорченный отчёт.
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
1 participant
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
Номер
0.2.0стоял вpyproject.toml, вapp/main.pyи в заголовке CHANGELOG, но публикации под ним не было: ни тега, ни релиза. Ролевой agentic workflow заменил rule-based pipeline, три endpoint'а генерации свелись к одному,TaskExtractor/TaskResolver/реестр семейств задач удалены — это ломающее изменение, и оно получает собственный номер, а не дописывается в чужой.Гейт красный, и релиза не будет
Первый полный прогон со слепым набором на
3cbd432(RTX 3090, Ollama 0.33.3, Qwen3.8-27B UD-Q4_K_M, 12 минут из 15):live-v1holdout-v2ok: falseРазрыв между 6 из 6 и 3 из 8 — это и есть содержательный результат методики: оценка на корпусе, который автор писал сам, систематически завышена. Один кейс закончился invalid success — результат объявлен успешным, хотя ожиданию не соответствовал. Это нарушение центрального контракта проекта, а не строчка статистики, поэтому тег
v0.3.0и GitHub Release не создаются.holdout-v2израсходован: набор одноразовый по построению, следующая попытка гейта требует нового, собранного без оглядки на этот результат. По его результатам реализация не тюнится.Что в PR
pyproject.toml,uv.lock,app/main.py; раздел 0.2.0 помечен как внутренняя веха, которая не публиковалась;docs/evaluation.mdназывают результат гейта прямо, включая то, почему релиза нет;docs/evidence/release-gate-3cbd432.json; слепой набор в нём представлен только именем, SHA-256, числом кейсов, агрегатами и категориями ошибок;invalid_success_rate == 0.0стояло внутри проверки формы отчёта, из-за чего промах по качеству отчитывался какprivate_holdout_report_schema_invalidи скрывал настоящую причину.