← 学習メニュー
CCAR-P 練習問題 36
CCAR-P
回答品質の改善のために、プロンプトの書き換え、few-shot 例の追加、モデルの変更、検索の件数の変更を1回のリリースでまとめて行いました。評価の点数は少し上がりましたが、一部の質問の種類では下がっています。どの変更が効き、どの変更が悪影響だったのかが分かりません。今後の改善の進め方として最も適切なのはどれですか。
スポンサーリンク
選択肢を押して回答
正解と解説
正解：D
判断のポイント
反復的な改善では、変更の効果を切り分けられる単位で変え、同じ評価セットで比較して回帰を検出します。
A. すべての変更を取り消して元に戻し、今後は改善を行わない（不正解）
改善の機会を失います。切り分けて進めれば、効いた変更を残せます。
B. 点数が全体として上がったので、一部の種類の低下は無視してリリースを続ける（不正解）
特定の種類の利用者が不利益を受けます。
C. 次の改善では、さらに多くの変更をまとめて行い、全体の点数をもっと上げる（不正解）
効果の切り分けがさらに難しくなります。
D. 変更を切り分けられる単位で行い、同じ評価セットで比べる（正解）
反復的な改善では、変更の効果を切り分けられるように、変える要素を絞って比較します。同じ評価セットを使い続けると、回帰も検出できます。
出題範囲：CCAR-P 分野4「評価・テスト・最適化」・項目4.3 A/Bテストと反復改善
参考資料（公式ドキュメント）
公開資料をもとにした独自解説です。本番の問題・難易度・合否を再現するものではありません。