Skip to content

[V3-03] native候補出力・chunk境界・lifecycleの比較基盤を整える #117

Open

Description

@PyYoshi

親トラッカー: #114

目的・成果物

機械可読なnative出力、比較harness、終了/lifecycle case

実装先・順序

作業

  • 同じfeed手順での旧/新比較と、異なるchunk境界間の比較を区別する。
  • candidate数・順序・encoding・language・confidence、done/error/reset/finalizeを比較する。

完了条件

同じfeedでの同等性とchunk間差分を分けて報告。V3-01

  • 対象の実装PR・設計判断へのリンクを記録する。
  • 再現command、検証結果、必要なartifact hashを記録する。
  • 未解決事項・既知の制約と、依存先への影響を明記する。

現在の実績(2026-09-21)

  • native候補数・順序・encoding/language・confidence bit列を機械可読出力として比較。
  • 同一feedの新旧比較、wholeに対するchunk差、同chunkのmodel差を区別。
  • 小規模4通常入力×3巡でfresh/reset再利用を比較。途中文書破棄、1回のfinalize、done、getter再読を検証。
  • Linux/macOS/Windowsのshared lifecycleテスト。公開13関数のexport整合性を確認。
  • error/OOM、weight、native繰返しfinalize・finalize後feed等の残契約を確認。Python closeのべき等性とnativeの保証を混同しない。

実装: PyYoshi/uchardet#11/#16/#42/#43/#44、cChardet #167/#169。
#169は全17通常CIと統合後CI成功。native固定点 f2873ba1fdf521fc7311fbb3c1272be83d87c667、cChardet統合点 56b669bf9aa5dde4d9c4ee100707f66ef3ab0850。
ローカル332 passed / 28 skipped / 79 subtests。native CTest154件成功、既知5件はconfigure時に対象外。

再現: native lifecycle手順、chunk比較結果・hash、統合結果。
P01対象の追加安全性調査は保留。通常入力の比較成功を任意入力の安全性保証とはしない。

残契約の切り分け:language weight(2026-09-21)

  • Pythonの既存language weight opt-in/reset/入力検証と通常resetの対象テストを再確認。
    UV_CACHE_DIR=/tmp/cchardet-v3-uv uv run --locked --offline --no-sync pytest -q tests/test_1.py -k 'language_weights or detector_can_reset_after_close': 3 passed / 12 deselected。
  • native default weight単独とlanguage weight併用の差を、各fresh handle・16-byte ASCII・1回finalizeで観測。
  • default weight単独の契約を明文化し、変更する場合は候補/confidence差を確認する。現状の結果を意図した仕様と断定しない。

観測(全て候補1件、encoding=ASCII):

設定 confidence
設定なし 0.99
default weight=0.5だけ 0.99
default weight=0.5 + fr weight=1.0 0.495

native uchardet.cppのReport/GetEncoding相当/GetConfidence/GetLanguageは、言語別mapが非空の場合だけweighted候補を使用する。WeighDefaultは値の保存と再計算をするが、mapを非空にしない。この分岐と上記観測が対応する。
source固定点。
Python wrapperはlanguage_weightsを公開するがdefault weight関数を公開していない。今回のnative観測をPythonの同名機能の不具合とは扱わない。

最小再現の各modeの処理(uchardet.hとiostreamをinclude、main内でmode=0,1,2を実行):

uchardet_t ud = uchardet_new();
if (mode != 0) uchardet_set_default_weight(ud, 0.5f);
if (mode == 2) uchardet_weigh_language(ud, "fr", 1.0f);
uchardet_handle_data(ud, "plain ASCII text", 16);
uchardet_data_end(ud);
std::cout << uchardet_get_n_candidates(ud) << " "
          << uchardet_get_encoding(ud, 0) << " "
          << uchardet_get_confidence(ud, 0) << "\\n";
uchardet_delete(ud);

実行時の完全なprobeはallocation/feed errorも確認し、candidate countの範囲内だけを読む。
build: c++ -std=c++11 -O2 -Isrc/ext/uchardet/src /tmp/cchardet-weight-contract-check.cpp /tmp/uchardet-v3-filter-profile-build/src/libuchardet.a -o /tmp/cchardet-weight-contract-check
実行: timeout 10s /tmp/cchardet-weight-contract-check(成功)。
既存static libraryを使用。SHA-256:

  • library: cbfafc66f7aeb38952991b0fe3a621b6abf47aedf12bbc8eda3541908f28649a
  • probe source: 69b2aa91e2355bf987461336f75f5058212f91c5cbe5d84782887a4749b7f705
  • probe binary: 0488c51122c8a7ca71c03014297fb7c03605f44e7d97e4dc4058c1acddc5602a

既定動作・API・engineは未変更。reset後のnative不正index、error/OOM、繰返しfinalize、追加安全性調査は今回実行していない。P01の保留を維持。本Issue全体は未完了。

Activity

  1. added
    v3cChardet v3開発の作業・設計判断
    on Sep 20, 2026
  2. added
    pinned継続して追跡する作業。既存stale設定の除外対象
    on Sep 20, 2026
  3. PyYoshi commented on Sep 20, 2026

    @PyYoshi
    OwnerAuthor

    実装: PyYoshi/uchardet#11 (dev merge済み)。候補数/順序/encoding/language/float bits、done観測、fresh/reset、同一feed新旧差分とchunk差分を分離。9 tool tests、native compiler/diagnostics CI成功。自己baseline比較は新旧差分0/reset差分0、既存chunk差分18を観測artifactへ保存。OOM注入・weight/reset契約・内部reject/ranking理由は後続Issueへ残しています。日本語手順: https://github.com/PyYoshi/uchardet/blob/dev/benchmark/conformance.ja.md

  4. PyYoshi commented on Sep 21, 2026

    @PyYoshi
    OwnerAuthor

    進捗: uchardet #43をdevへ統合(1a13ad6186842b9defaeef01a071876e3cda9a61)。小規模4入力×3巡でfresh/reset再利用の候補全体・confidence bit・done・finalize後getter安定性を比較。再現手順: native test/LIFECYCLE.ja.md。native 11 CIとローカル154 CTest成功。一方cChardet #169のshared統合CIではis_done export漏れを発見し、修正を進行中。#169は未マージ。繰返しnative finalize、weight/error/OOM等は未完了で、Issueは閉じない。

  5. PyYoshi commented on Sep 21, 2026

    @PyYoshi
    OwnerAuthor

    今回の区切り(2026-09-21)

    uchardet #43/#44 と cChardet #169 をdevへ統合済み。

    • cChardet merge: 56b669b
    • native pin: f2873ba1fdf521fc7311fbb3c1272be83d87c667
    • PR #169の通常CI全17件成功(shared ASan/UBSanを含む)、wheelのみ明示省略。
    • 4通常入力×3巡のfresh/reset比較。候補順序・encoding/language・confidence bit・done・getter安定性。
    • 公開13関数のheader/export一覧/shared symbol一致。3OSのshared lifecycle CI成功。
    • ローカル332 tests +79 subtests成功、28 skip。

    再現・範囲: native test/LIFECYCLE.ja.md、cChardet docs/v3-foundation-results.md。
    未完了: native繰返しfinalize、finalize後feed、weight/error/OOM等の契約。P01対象の追加安全性調査は再開していない。Issue全体の完了とはしない。
    次回はこの統合点から再開し、同じexport修正・resetテストを再実装しない。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    pinned継続して追跡する作業。既存stale設定の除外対象v3cChardet v3開発の作業・設計判断

    Projects

    No projects

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions