← 学習メニュー
CCDV-F 練習問題 34
CCDV-F
2つのプロンプト A と B を、200件の評価セットで各ケース1回ずつ実行して比べたところ、B の正答率が1ポイント高かったので B を採用しました。翌日、同じ評価をもう一度実行すると、A の方が高くなりました。設定はどちらも temperature 0 です。この結果の扱いとして最も適切なのはどれですか。
スポンサーリンク
選択肢を押して回答
正解と解説
正解：D
判断のポイント
LLM の出力は非決定的です。temperature 0 でも揺れるため、プロンプトの比較は複数回の実行でばらつきを確かめてから判断します。
A. API の seed パラメーターで乱数を固定し、1回ずつの比較を続ける（不正解）
Messages API には出力を固定する seed のようなパラメーターはありません。揺れを前提に評価を設計します。
B. 結果が入れ替わったケースを評価セットから除き、毎回同じ結果になるケースで比べ直す（不正解）
揺れやすい難しいケースを除くと、評価の結果が実態より良く見えます。
C. 2日目の結果の方が新しいので、A に戻して運用する（不正解）
1回ずつの比較を繰り返しても、揺れの範囲の差で判断が入れ替わるだけです。
D. 出力の揺れを前提に、複数回の実行でばらつきを見てから差を判断する（正解）
temperature を 0 にしても、出力が毎回完全に同じになるとは限りません。小さな差は揺れの範囲に収まることがあるため、複数回の実行でばらつきを確かめてから判断します。
出題範囲：CCDV-F 分野5「モデル選択と最適化」・項目5.1 LLM の基礎（トークン・文脈・サンプリング・非決定性・thinking・effort）
参考資料（公式ドキュメント）
公開資料をもとにした独自解説です。本番の問題・難易度・合否を再現するものではありません。