LiteLLMChatAPIのignore_seedがset_random_seed経由のseedを無視しない問題を修正

[kiakiraki]

問題

LiteLLMChatAPI の ignore_seed オプションは docstring で「default_gen_kwargs に指定された seed を無視する」と明言していますが、実装は per-call の kwargs から seed を除去するだけで、以下の2経路が漏れていました。

1. set_random_seed(seed) が ignore_seed を無視して無条件に default_gen_kwargs["seed"] を書き込む
2. コンストラクタの default_gen_kwargs に最初から "seed" が入っている場合も除去されない

flexeval の標準評価経路（eval_setups.py）は必ず language_model.set_random_seed() を呼ぶため、seed 非対応プロバイダ（docstring が名指しする anthropic/claude など）では ignore_seed=True を指定していても全 API コールがエラーになります。リトライ枯渇後は EMPTY_RESPONSE にフォールバックするため、全出力が空文字列のまま評価が「成功」してしまう危険がありました。

修正内容

• set_random_seed() を ignore_seed=True のとき no-op に変更
• __init__ で ignore_seed=True のとき default_gen_kwargs から "seed" を除去
• 既存の per-call kwargs からの除去処理はそのまま維持

テスト

以下の3テストを追加しました（既存の test_if_ignore_seed と同じ mock パターン）。

• ignore_seed=True のとき set_random_seed(42) が no-op であること
• コンストラクタの default_gen_kwargs の seed が除去されること
• set_random_seed() 呼び出し後の generate_chat_response() で seed が API に渡らないこと

6 passed（seed 関連テスト全件）、ruff check / format パス

🤖 Generated with Claude Code