Repository navigation
Description
親トラッカー: #114
目的・成果物
機械可読なnative出力、比較harness、終了/lifecycle case
実装先・順序
- 実装先: uchardet
- v3実装PRのbase: 対象repositoryの
dev。Draft PRで作成する。 - Phase: 1
- 前提となる作業: [V3-01] 開発baseline・CI/Rules・新規ファイルのライセンス方針を確定する #115
- 新規実装のライセンスはV3-01で対象componentごとに決定する。
作業
- 同じfeed手順での旧/新比較と、異なるchunk境界間の比較を区別する。
- candidate数・順序・encoding・language・confidence、done/error/reset/finalizeを比較する。
完了条件
同じfeedでの同等性とchunk間差分を分けて報告。V3-01
- 対象の実装PR・設計判断へのリンクを記録する。
- 再現command、検証結果、必要なartifact hashを記録する。
- 未解決事項・既知の制約と、依存先への影響を明記する。
現在の実績(2026-09-21)
- native候補数・順序・encoding/language・confidence bit列を機械可読出力として比較。
- 同一feedの新旧比較、wholeに対するchunk差、同chunkのmodel差を区別。
- 小規模4通常入力×3巡でfresh/reset再利用を比較。途中文書破棄、1回のfinalize、done、getter再読を検証。
- Linux/macOS/Windowsのshared lifecycleテスト。公開13関数のexport整合性を確認。
- error/OOM、weight、native繰返しfinalize・finalize後feed等の残契約を確認。Python closeのべき等性とnativeの保証を混同しない。
実装: PyYoshi/uchardet#11/#16/#42/#43/#44、cChardet #167/#169。
#169は全17通常CIと統合後CI成功。native固定点 f2873ba1fdf521fc7311fbb3c1272be83d87c667、cChardet統合点 56b669bf9aa5dde4d9c4ee100707f66ef3ab0850。
ローカル332 passed / 28 skipped / 79 subtests。native CTest154件成功、既知5件はconfigure時に対象外。
再現: native lifecycle手順、chunk比較結果・hash、統合結果。
P01対象の追加安全性調査は保留。通常入力の比較成功を任意入力の安全性保証とはしない。
残契約の切り分け:language weight(2026-09-21)
- Pythonの既存language weight opt-in/reset/入力検証と通常resetの対象テストを再確認。
UV_CACHE_DIR=/tmp/cchardet-v3-uv uv run --locked --offline --no-sync pytest -q tests/test_1.py -k 'language_weights or detector_can_reset_after_close': 3 passed / 12 deselected。 - native default weight単独とlanguage weight併用の差を、各fresh handle・16-byte ASCII・1回finalizeで観測。
- default weight単独の契約を明文化し、変更する場合は候補/confidence差を確認する。現状の結果を意図した仕様と断定しない。
観測(全て候補1件、encoding=ASCII):
| 設定 | confidence |
|---|---|
| 設定なし | 0.99 |
| default weight=0.5だけ | 0.99 |
| default weight=0.5 + fr weight=1.0 | 0.495 |
native uchardet.cppのReport/GetEncoding相当/GetConfidence/GetLanguageは、言語別mapが非空の場合だけweighted候補を使用する。WeighDefaultは値の保存と再計算をするが、mapを非空にしない。この分岐と上記観測が対応する。
source固定点。
Python wrapperはlanguage_weightsを公開するがdefault weight関数を公開していない。今回のnative観測をPythonの同名機能の不具合とは扱わない。
最小再現の各modeの処理(uchardet.hとiostreamをinclude、main内でmode=0,1,2を実行):
uchardet_t ud = uchardet_new();
if (mode != 0) uchardet_set_default_weight(ud, 0.5f);
if (mode == 2) uchardet_weigh_language(ud, "fr", 1.0f);
uchardet_handle_data(ud, "plain ASCII text", 16);
uchardet_data_end(ud);
std::cout << uchardet_get_n_candidates(ud) << " "
<< uchardet_get_encoding(ud, 0) << " "
<< uchardet_get_confidence(ud, 0) << "\\n";
uchardet_delete(ud);実行時の完全なprobeはallocation/feed errorも確認し、candidate countの範囲内だけを読む。
build: c++ -std=c++11 -O2 -Isrc/ext/uchardet/src /tmp/cchardet-weight-contract-check.cpp /tmp/uchardet-v3-filter-profile-build/src/libuchardet.a -o /tmp/cchardet-weight-contract-check
実行: timeout 10s /tmp/cchardet-weight-contract-check(成功)。
既存static libraryを使用。SHA-256:
- library:
cbfafc66f7aeb38952991b0fe3a621b6abf47aedf12bbc8eda3541908f28649a - probe source:
69b2aa91e2355bf987461336f75f5058212f91c5cbe5d84782887a4749b7f705 - probe binary:
0488c51122c8a7ca71c03014297fb7c03605f44e7d97e4dc4058c1acddc5602a
既定動作・API・engineは未変更。reset後のnative不正index、error/OOM、繰返しfinalize、追加安全性調査は今回実行していない。P01の保留を維持。本Issue全体は未完了。
Activity
PyYoshi commentedon Sep 20, 2026
実装: PyYoshi/uchardet#11 (dev merge済み)。候補数/順序/encoding/language/float bits、done観測、fresh/reset、同一feed新旧差分とchunk差分を分離。9 tool tests、native compiler/diagnostics CI成功。自己baseline比較は新旧差分0/reset差分0、既存chunk差分18を観測artifactへ保存。OOM注入・weight/reset契約・内部reject/ranking理由は後続Issueへ残しています。日本語手順: https://github.com/PyYoshi/uchardet/blob/dev/benchmark/conformance.ja.md
PyYoshi commentedon Sep 21, 2026
進捗: uchardet #43をdevへ統合(1a13ad6186842b9defaeef01a071876e3cda9a61)。小規模4入力×3巡でfresh/reset再利用の候補全体・confidence bit・done・finalize後getter安定性を比較。再現手順: native test/LIFECYCLE.ja.md。native 11 CIとローカル154 CTest成功。一方cChardet #169のshared統合CIではis_done export漏れを発見し、修正を進行中。#169は未マージ。繰返しnative finalize、weight/error/OOM等は未完了で、Issueは閉じない。
PyYoshi commentedon Sep 21, 2026
今回の区切り(2026-09-21)
uchardet #43/#44 と cChardet #169 をdevへ統合済み。
再現・範囲: native test/LIFECYCLE.ja.md、cChardet docs/v3-foundation-results.md。
未完了: native繰返しfinalize、finalize後feed、weight/error/OOM等の契約。P01対象の追加安全性調査は再開していない。Issue全体の完了とはしない。
次回はこの統合点から再開し、同じexport修正・resetテストを再実装しない。