XERのinstance_detailsのWERがトークナイザ未適用で計算される問題を修正

[kiakiraki]

問題

XER メトリクスで tokenizer を指定した場合、summary の wer_score はトークナイズ済みテキストで計算される一方、instance_details の wer_score は生の reference / lm_output で計算されていました。

日本語のようにスペースで単語が区切られない言語では、jiwer のデフォルト分割により文全体が1単語として扱われるため、インスタンス単位の WER が「完全一致なら 0.0、少しでも違えば 1.0」というデタラメな値になり、summary と矛盾していました。

修正内容

instance_details の wer_score を summary と同じトークナイズ済みテキスト（tokenized_references / tokenized_lm_outputs）で計算するように修正しました。

• cer_score は文字単位の計算でトークナイズ不要のため、summary 側と同様に生文字列のまま維持（挙動変更なし）
• tokenizer 未指定時はトークナイズ済みリスト＝生リストなので挙動変更なし（docstring の doctest も影響なし）

テスト

• WhitespaceTokenizer 指定時に単一インスタンスの instance_details[0]["wer_score"] が summary と一致することを検証
• 回帰テスト: 日本語文（SacreBleuTokenizer(name="ja-mecab")、4トークン中1トークン違い）で、修正前は 1.0 になっていた WER が正しく 0.25 になることを検証

9 passed（既存含む全件）、ruff check / format パス

🤖 Generated with Claude Code