← 学習メニュー
CCAR-P 練習問題 34
CCAR-P
2つのプロンプトの版 A と B の回答を、モデルによる採点で比べています。採点のプロンプトには常に A の回答を先、B の回答を後に並べています。確かめに順番を入れ替えて採点すると、多くの例で勝ち負けが逆転しました。評価の枠組みの改善として最も適切なのはどれですか。
スポンサーリンク
選択肢を押して回答
正解と解説
正解：B
判断のポイント
モデルによる採点には、提示の順や長さなどへの偏りがあります。順番の入れ替え、採点基準の明確化、人の評価による較正を組み合わせます。
A. A を先に並べる順番を固定し、比較の条件をそろえる（不正解）
条件はそろっても、先に並べた方が有利になる偏りは残ります。
B. 提示の順を入れ替えて2回採点し、結果が一致したものだけを採用する（正解）
モデルによる採点は、提示の順番などに影響されることがあります。順番を入れ替えて結果を確かめると、こうした偏りを減らせます。一部は人の評価とも突き合わせて較正します。
C. モデルによる採点をやめ、すべての例を人が採点する（不正解）
偏りは減りますが、プロンプトを変えるたびに評価する速さを失います。
D. 採点に使うモデルを最上位のものに替えれば、偏りはなくなる（不正解）
能力の高いモデルでも、提示の順の影響を受けることがあります。
出題範囲：CCAR-P 分野4「評価・テスト・最適化」・項目4.2 評価データセットとテストの枠組み
参考資料（公式ドキュメント）
公開資料をもとにした独自解説です。本番の問題・難易度・合否を再現するものではありません。