Repository navigation
Description
親トラッカー: #114
目的・成果物
legacy generatorの参考調査、新規offline generator・試作model・C++出力。旧script廃止は参照確認後に別PR
実装先・順序
- 実装先: uchardet
- v3実装PRのbase: 対象repositoryの
dev。Draft PRで作成する。 - Phase: 2
- 前提となる作業: [V3-01] 開発baseline・CI/Rules・新規ファイルのライセンス方針を確定する #115, [V3-07] corpus manifest・用途分割・ライセンス検証を整備する #121, [V3-08] strict再encode・サイズ別・HTML corpus生成を実装する #122
- 新規実装のライセンスはV3-01で対象componentごとに決定する。
作業
- 旧scriptは参考調査のみとし、新規実装の依存にしない。修復は前提条件にしない。
- 固定入力からの決定性と同じ出力への再実行を検証する。
- 生成物公開境界のprocess中断後の再実行を検証する(保証範囲は下記)。
- trainingと分離したvalidationでmodel品質を測定する(品質向上・標準採用とは別)。
- 上記の保証範囲を元の完了条件と照合し、generator基盤として受入を確定した。
- generatorのライセンスを実装前に決め、legacy modelを自動的に置換しない。
完了条件
決定性・再実行のべき等性・未使用dataでの品質を別々に検証。新規generatorのlicense決定済み。V3-01/07/08
- 対象の実装PR・設計判断へのリンクを記録する。
- 再現command、検証結果、必要なartifact hashを記録する。
- 未解決事項・既知の制約と、依存先への影響を明記する。
現在の実績(2026-09-21)
旧記述の「Python-only」「native filter適合・品質評価が未実施」は更新済み。generator基盤とmodel採用を分離する。
- 旧generator entrypoint/専用依存を廃止(v3: 旧モデル生成toolの実行入口を廃止 uchardet#19、cChardet v3: 旧モデル生成toolの廃止と接続前調査を反映 #132)。
- 新規MIT generator、明示SequenceModel契約、C++ header出力、provenance/本文からの再計算。
- 決定性、同一出力再実行、異なる既存出力保護、同時公開、途中例外を検証。
- 公開直前/直後で子processをkillした後の再実行を3OSで検証(native AARCH64 Support? #22/Incorrect detection of utf-8-sig encoding #28、v3: C++20機能検証・生成物再実行・confidence分析を統合 #134/[skip-build] v3: 生成物公開の中断回復テストを統合 #146)。
- native filter training、同一入力coverage、実prober counter、非デフォルトfull engine接続(native Add
cchardetectCLI script #30〜Raising Exception #39、[skip-build] Integrate native-filter experimental model training #151〜生成モデルの候補競合評価を統合し精度後退を記録 #162)。 - 録音単位の24 training / 8 tuning分割・再学習、固定ratio感度実験、chunk比較(native Build error on Mojave #40〜can not detect some encoding #42、[skip-build] French training/tuning分割と24録音の再生成結果を統合 #164〜[skip-build] 固定ratioモデルのchunk差分と採用制約を記録 #167)。
品質評価の結果と採用判断
未学習のParis validation 16録音のcp1252入力でdecode-equivalentはlegacy16/16、identity5/16、filtered7/16。このモデルの採用を支持しないという評価結果を得た。
別のtuning 8録音では因子0.90がwhole-inputで8/8だったが、7-byteではlegacy6/8に対し生成model4/8。独立holdoutは未開封、標準modelは不変。
「評価した結果が悪い」ことと「generatorを実装・評価できていない」ことを混同しない。品質向上、confidence較正、配布条件D04、標準採用D03は#125/#126側の判断と区別する。
受入確認・制約
中断回復の検証は生成物の公開境界に限定。電源断、任意書込み位置、pipeline全体のcheckpoint/restartは未保証。元の条件は再実行のべき等性と中断後の再実行であり、途中計算地点からのcheckpoint再開や電源断耐性の要求ではない。単一生成物は未公開または完全な内容となり、同じコマンドの再実行で復旧することを確認して受け入れる。保証していない範囲は残すが、暗黙の追加完了条件にはしない。
再現・hash:
再現性と中断回復、
filter training、
full engine品質、
training/tuning分離、
ratio実験、
incremental評価。
生成model本文はGit管理外。P01の大入力・追加fuzzは再開していない。
受入監査:完了(2026-09-21)
元の完了条件である決定性・べき等性・未学習validationでの品質評価・generator license決定をそれぞれ確認した。品質評価の後退はmodel不採用の根拠であり、generatorの未完成を意味しない。
今回再確認:
uv run --no-project python -m unittest discover -s corpus -p test_artifact.py -v: 8件成功(実processの公開直前/直後killを含む)。uv run --no-project python -m unittest discover -s models/experimental -p test_sequence_training.py -q: 14件成功。sequence_training.py validateとfiltered_training.py validateを元のParis training manifestで実行し、identity/filtered両artifactの再計算一致。filteredは固定native filter binaryも指定。- full engine品質reportのfile SHA-256
79654809fe9985af4e89eac06aeb9d54af20001dc01301b70c4ceb7a6435a4ca一致、保存済み再実行reportとも全byte一致。
private入力/生成物はarchives/v3-corpus/に保持。モデル品質改善・独立holdoutによる採用評価・D04配布条件・標準採用は#124/#125/#126と判断ログへ残す。本Issueのために新しいmodel/公開APIを採用したり、P01を再開したりしていない。
Activity
PyYoshi commentedon Sep 20, 2026
基盤実装: PyYoshi/uchardet#12 (merge済み)。独立cp1252 byte-bigram生成器、canonical JSON/C++ emitter、決定性/べき等性/heldout診断を別testに分離。8 model tests成功。実文書training 11,946bytesから生成しvalidation 27,264pairsで4.405195459375268 bits/pair。encoding accuracyではありません。既存SequenceModel adapter/同じengineでの品質比較/生成model配布条件は未完了のためIssueはopenのままです。
PyYoshi commentedon Sep 20, 2026
追加の接続契約調査(読取のみ、model/engine変更なし):
確認箇所(native dev 005cd06): src/nsSBCharSetProber.h:67、src/nsSBCharSetProber.cpp:122、src/nsSBCSGroupProber.cpp:336、src/LangModels/LangFrenchModel.cpp:46/145/219。
次の実装単位は、独立generatorのcharacter-order仕様と4-category量子化/較正のversioned contract → filtering込みの集計test → OFF-default adapter → 同一engine比較。未使用holdoutと生成modelの権利判断を残し、既存table/旧generatorをコピーして済ませない。今回のC++ header emit成功だけでは本Issueをcloseしない。
PyYoshi commentedon Sep 20, 2026
uchardet #15を全11 CI成功後にdevへmergeしました(4f9524963c00638fee44a382c9c642c8d4cd665d)。cp1252向け明示的SequenceModel bridge schema、validator、C++11 emitter、人工model構造体/binary32 bit一致試験を追加。model tools 15 tests成功。
raw byte-countの自動変換、training algorithmの較正、既定engineへの登録は行っていません。生成modelの権利はUNDETERMINEDのまま。次はcharacter-order/quantization/filter semanticsを仕様化してから、同一engine OFF-default harnessによる品質比較を行う段階です。接続契約のcompile成功だけで本Issueを完了にはしません。
PyYoshi commentedon Sep 20, 2026
uchardet #18を全11 CI成功後devへmergeしました(1056e60)。Python-onlyの明示training profileと整数countsからの再計算validatorを追加。14限定tests成功、保存済みFrench training文書11946 bytesでも生成・manifest本文からの再生成・別出力先byte一致を確認しています。identity filter / NOT_ENGINE_CALIBRATED / UNDETERMINEDを維持し、95/99%は未較正の実験値です。既存native filterへの適合・confidence較正・品質比較・配布条件は未完了のためIssueは継続。model本文は非公開、holdout予測/native実行/P01再開なし。
PyYoshi commentedon Sep 20, 2026
旧generatorの参照調査を経てuchardet #19を11 CI成功後devへmergeしました(4117df7)。BuildLangModel.py/create-table.py/専用requirementsの3filesだけを削除し、生成済みmodel・宣言header・由来ログ等160filesはhash一致。旧SHA1056e60から復元できます。新generatorは独立した実装で、旧tool実行は今後の前提にしません。cChardet側への反映と、既存filter/統計/feed境界の読み取り調査文書は #132で確認中です。
PyYoshi commentedon Sep 20, 2026
cChardet側の旧generator廃止取り込みも #132で全20 CI成功後devへmerge済みです。native固定点4117df7、cChardet dev e3fd77d。削除済み旧toolは履歴から復元可能、生成済みmodel等は不変です。
PyYoshi commentedon Sep 20, 2026
追加進捗: uchardet #20 を全11 CI成功後devへ統合しました。固定training tableのtuning/validation診断を追加し、文字coverage・matrix外pair・未観測pairを整数分母で記録します。native accuracy/confidence評価ではなく、NOT_ENGINE_CALIBRATEDを維持します。保存済みFrench validation 1章で未知letter 13/21,273、未観測matrix pair 232/16,782を確認。cChardetへの反映・日本語結果は #133(CI中)です。native filter適合・品質比較・生成model権利は未完了のままです。
PyYoshi commentedon Sep 20, 2026
追加進捗: uchardet #22を全11 CI成功後devへ統合。Python生成物を完成後の排他的hard-link公開へ変更し、中断例外・同時実行・既存出力保護をテストしました。保存済みFrench training再生成でも文書counts/audit/model契約fieldは不変(provenance/hash以外)。旧artifactは保持し依存hash検証を緩めていません。cChardet反映と日本語記録は #134。native品質比較・配布条件は未完了です。
PyYoshi commentedon Sep 20, 2026
進捗: uchardet PR PyYoshi/uchardet#27を全11チェック成功でdevへマージ(04f3bc4)。固定tableのPython-only coverageに文書等重みの厳密分数平均とbyte長区間を追加しました。model関連46 tests成功。保存済み会話16文書の従来countsは完全一致し、全件1–4 KiBに集中する評価不足を記録しました。Tatoebaは共通originの既存重複防止により拒否されたため未評価。trainer/filter適合、native識別品質、生成物の権利判断は未完了のままです。cChardet統合はPR #141のwheel CI後にまとめてpushします。
PyYoshi commentedon Sep 20, 2026
native #29 / cChardet #149で既定OFFのSBCS filter入力統計診断を統合し、#150で既存Paris Stories validation 16文書の観測を公開しました。元40,777 bytesに対して全文filter後5,876 bytes、1-byte chunkでは1,076 bytes。5条件の2回実行reportはbyte一致しました。
これは学習/精度/候補順位評価ではなく入力契約の差です。modelのsequence分母やactive/早期終了は未検証で、NOT_ENGINE_CALIBRATEDを維持します。独立holdout、P01範囲は未実施。
https://github.com/PyYoshi/cChardet/blob/dev/docs/v3-filter-validation.md
PyYoshi commentedon Sep 20, 2026
native #30 は全11 CI成功後devへ統合済み(3025422)。別profile cp1252-native-filter-sequence-training-v1 を追加し、実際の既存filterから学習テーブルを生成できるようにしました。identity profileは不変です。
cChardet #151 はDraft・CI確認中。生成物は非公開、NOT_ENGINE_CALIBRATED / UNDETERMINEDのままです。filter後byte統計とprober sequence counter・confidenceの照合、および未使用dataでの識別品質は残るため本Issueは未完了です。P01は再開していません。
3 remaining items
PyYoshi commentedon Sep 20, 2026
native #32 は全11 CI成功後devへ統合(e86cc08)。生成modelを実際のnsSingleByteCharSetProberへ渡すopt-in native harnessを追加しました。既存filter/prober処理の移植ではなくstatic libraryを呼び、protected counterを観測します。
Paris Stories validation16録音×identity/filtered2モデルの全32組で、総文字・頻出/低頻度/制御文字・sequence総数・4カテゴリ数がPython側の期待値と一致しました。各観測2回一致、fresh buildからreport全体も一致。全件detectingで、内部confidenceはidentity −0.006417〜0.678264、filtered −0.236911〜0.532397。確率やencoding正解率へ読み替えません。
人工モデルではGCC/Clang各6 testsでcounter/reset/1024 sequence shortcut境界を確認。モデル関連66 tests成功。cChardet #153 はDraft・CI中(local285 passed /27 skipped /76 subtests)。P01、既定model登録、配布条件は変更していません。整数counter接続の限定的な確認であり、confidence校正・候補競合・識別品質は残ります。
PyYoshi commentedon Sep 20, 2026
追記: #153 は通常CI全17件成功(wheel明示skip)後にdevへ統合しました。nativeマージ後CI 35537896817 も成功。結果・観測範囲・再現hash: https://github.com/PyYoshi/cChardet/blob/dev/docs/v3-native-sequence-probe.md
PyYoshi commentedon Sep 20, 2026
native #33 を全11CI成功後devへ統合(05c43c7)。既存Windows_1252FrenchModelをコピーせずsymbol参照し、同一library/filter/prober条件でlegacy・identity・filteredを比較するtoolを追加しました。
Paris16文書の内部confidence: legacy 0.785962〜0.851188、identity −0.006417〜0.678264、filtered −0.236911〜0.532397。Rust別章: 0.849141 / 0.704291 / 0.535302。全モデル全件detectingなので、detecting自体を生成modelの失敗とは解釈しません。
native negativeカテゴリはParisで0/288/503、Rustで0/82/222。ただし学習・量子化・order/ratio条件が異なり、legacyのcategory0を新規profileの未観測pairと同義にはしません。legacy training overlapはUNKNOWN、正例のみのためfalse positive/候補競合の識別品質は未確認です。
モデル採用は保留。2 corpusともfresh buildで2回のreport全byte一致。cChardet #154 はDraft・CI中(local289 passed /27 skipped /76 subtests)。nativeマージ後CI 35538544411も成功。
PyYoshi commentedon Sep 20, 2026
追記: #154 を通常CI全17件成功・wheel明示skipでdevへ統合しました。日本語の比較結果と採用判断: https://github.com/PyYoshi/cChardet/blob/dev/docs/v3-legacy-model-comparison.md 。採用gateも更新済みです。既定modelの置換・confidence調整はしていません。
PyYoshi commentedon Sep 20, 2026
native #34 を全11CI成功後devへ統合(6e1e9d9)。同じ文章のcp1252/UTF-8対照評価を追加し、ASCII等の同一bytes、cp1252 decode可否、filter後の途中終了を分離しました。
Paris16対は全て両codecでdecode可能・bytesは異なり、全3モデルでcp1252側scoreが高い結果でした。全件全文消費・detectingです。これは正解率100%や全detectorのfalse-positive rateではありません。Rust1対のUTF-8はcp1252としてdecode不能で、3モデルとも5138 filtered bytes中263で停止・rejectedとなり、統計的反応差とは別枠で記録しました。
モデル78 tests成功、追加8件はClangでも成功。2 corpusのreportはfresh buildから2回生成し全byte一致。nativeマージ後CI 35539182409も成功。cChardet #155 はDraft・CI確認中(local297 passed /27 skipped /76 subtests)。モデル採用・ratio変更・独立holdout利用・P01再開はしていません。
PyYoshi commentedon Sep 20, 2026
追記: #155 は通常CI全17件成功(wheelのみ明示skip)後にdevへ統合済みです。対照の層別、本文一致、途中終了を含む日本語結果: https://github.com/PyYoshi/cChardet/blob/dev/docs/v3-paired-encoding-controls.md 。精度/性能/校正の未完了gateは維持しています。
PyYoshi commentedon Sep 20, 2026
native 単一モデルの計時基盤を uchardet #35 で dev に統合しました(61930cc、PR 11 checks と merge 後 CI 成功)。cChardet 側の参照更新と日本語結果文書は Draft #156 で統合中です。
Paris validation 16 文書について CPU2 固定、20,000反復 × 7試行 × 3独立runで、legacy/identity/filtered を同条件比較しました。文書別 warm trial の合計 median は各約49–50 µsで、約1%の差を高速化とは扱いません。全runで文書別medianの5%超悪化はなく、run2のidentityに試行平均p95が12.12%高い1文書があり、その観測も残しています。request単位のtail latencyとは異なります。
ローカル統合テストは304 passed / 27 skipped / 76 subtests passed。全detector品質・confidence較正・memory/allocation・生成modelの配布条件は未解決で、モデル標準採用や本Issue完了とは扱いません。P01は再開していません。
PyYoshi commentedon Sep 20, 2026
追記: #156 は通常CI全17件成功(run 35540435244)を確認し、devへ統合済みです。merge commit: 7c3af65。結果文書: docs/v3-native-model-timing.md。wheelは実験tool/文書のみの変更として明示省略。CI起動の追加push・reopenは行っていません。品質・memory/allocation等の残るgateは維持します。
PyYoshi commentedon Sep 20, 2026
allocation call-site観測を追加し、uchardet #36 / cChardet #157 をdevへ統合しました。native全11 CI・マージ後CI成功、cChardet全17 CI成功(35541165867)。main merge: 5ebb2e0。
Paris validation 16文書 × 3モデルで、128 warm-up後1回のreuse中の対象8種の呼び出しはすべて0回。通常版のsnapshot/resetと一致し、別出力への再build・再実行reportも全byte一致しました。GCC/Clangで計測自己検証成功、ローカル305 passed / 27 skipped / 76 subtests passed。
計測範囲は静的リンクで捕捉できるcall-siteのみであり、shared-library内部、初回確保、peak/live memory、全detectorのallocation gateは未確認です。モデル品質・配布条件も未解決のためcloseしません。
結果・hash・再現手順: https://github.com/PyYoshi/cChardet/blob/dev/docs/v3-model-allocation-calls.md
PyYoshi commentedon Sep 20, 2026
追加学習corpusと固定generator比較をdevへ統合しました。native #37(11 CI成功・merge後成功)、cChardet #158(17 CI成功・merge後成功)、文書のみの #159(docs-only方針でCI省略)。
Paris upstream trainから録音ID欠落27文とvalidationとの録音重複38文を明示隔離し、32録音1322文をtrainingに固定しました。generator/閾値を変えず、Paris-onlyのidentity/filteredモデルを別artifactへ生成。再観測によるtraining再生成照合、両validation corpusのreport全byte再現、旧モデルの過去観測との一致を確認済みです。
Paris validationのcategory 0はidentity 288→52 /3837、filtered 503→82 /3837、Rust validationでは82→30 /3220と222→55 /3220。内部スコアの変化であり、encoding正解率ではありません。paired分離件数は旧モデルも新モデルも同じです。full-detector識別精度・校正・新モデルの性能/memory・配布条件は未完了、独立holdoutは未参照。
結果: https://github.com/PyYoshi/cChardet/blob/dev/docs/v3-spoken-model-comparison.md
corpus: https://github.com/PyYoshi/cChardet/blob/dev/docs/v3-spoken-training-corpus.md
PyYoshi commentedon Sep 20, 2026
新しいParis-onlyモデルの限定costを #160 でdevへ統合しました(Markdownのみ、CI省略)。同一native library・CPU2固定・20,000反復×7試行×3runで、文書別medianにlegacy比5%超悪化はありませんでした。一方run3の試行平均p95でidentity +10.57%、filtered +30.71%の2文書を観測し、生の値を保持しています。原因をOS等と断定せず未解決として記録しました。
単一proberのwarm reuse中、対象8種のallocation call-siteは16文書×3モデル全て0回。初回確保・shared-library内部・peak/live memory・全detectorは対象外です。これを性能gate全体の成功とは扱いません。
結果と全report hash: https://github.com/PyYoshi/cChardet/blob/dev/docs/v3-spoken-model-cost.md
PyYoshi commentedon Sep 20, 2026
resource観測を native #38 / cChardet #161 でdevへ統合しました。native全11 CI・merge後CI成功、cChardet全17 CI成功。ローカル315 passed / 27 skipped / 79 subtests passed。
追加計測の遅い2試行ではwallだけでなくCPU時間も増加していました。周波数/cache等は未観測で、原因は未確定です。結果: docs/v3-timing-resource-observations.md。
次の作業は単一proberの数値から候補群内の比較へ進むための非デフォルト接続基盤です。標準buildとは別のstatic library/実行fileをローカル実装中で、既定modelや公開APIを変えず、小さい既存fixtureのreference一致から検証します。P01は維持します。
PyYoshi commentedon Sep 20, 2026
候補競合まで評価する非デフォルト実験targetを uchardet PR #39 で dev に統合しました(11 CI 成功、merge e03915e00daa036e7f172bad9b395f485530d8f5)。cChardet への統合と日本語評価文書は Draft PR #162 で検証中です。
Paris validation の16 cp1252入力で decode-equivalent は legacy 16/16、identity 5/16、filtered 7/16。UTF-8対は各16/16。生成モデルは採用しません。reportは2回生成してバイト一致しました。
SBCS groupは内部全モデルではなく1候補だけを公開するため、正解codecの候補不在をmodel欠落と分類することはできません。次の分析は内部選抜・較正の切り分けです。今回のvalidationをtuningへ転用せず、P01も再開しません。
PyYoshi commentedon Sep 20, 2026
更新: training 24録音 / tuning 8録音の分割と再学習を #164、係数未変更baselineを #165 で dev に統合しました。
固定4因子(1/.95/.90/.80)を予測前のcommit fa32d55で定め、全8条件を評価。両profileの .90 はtuning cp1252 exact/decode-equivalent 8/8、UTF-8/languageの悪化なしで次段階候補となりました。.80 はconfidence範囲外で不採択です。全条件を2回観測しreportがbyte一致しました。
native実験基盤は uchardet #41 で11 CI成功後に統合。cChardet統合はDraft #166(ローカル330 passed)。未使用dataの精度、incremental、性能、権利条件は未完了であり、標準modelは変更しません。同じtuning上でgridを増やすこともせず、因子を固定した次段階検証へ進めます。独立holdoutは未開封、P01は維持しています。