← 学習メニュー
CCAR-P 練習問題 37
CCAR-P
社内規程の RAG で、誤った回答の報告が30件集まりました。チームは、プロンプトを直すべきか、モデルを替えるべきか、検索を直すべきかで意見が分かれています。最初に行う診断として最も適切なのはどれですか。
スポンサーリンク
選択肢を押して回答
正解と解説
正解：C
判断のポイント
問題の診断では、失敗を段階ごとに切り分けます。RAG なら、検索で根拠が取れていたかを確かめ、検索・プロンプト・モデルのどこに原因があるかを特定します。
A. プロンプトに「根拠のない回答をしないこと」と書き足して様子を見る（不正解）
原因を確かめないまま対処しており、検索の失敗には効きません。
B. 30件をすべて評価セットに加え、点数が上がるまでプロンプトを調整し続ける（不正解）
原因の切り分けがないため、調整が的外れになりやすくなります。
C. 失敗した質問ごとに、取得したチャンクに正解の根拠が含まれていたかを確かめ、検索の問題と生成の問題に分ける（正解）
RAG の失敗は、根拠を取得できなかった場合と、取得できたのに誤って答えた場合で対処が異なります。まず失敗をこの2つに分けると、直すべき箇所が分かります。
D. 最上位のモデルに替えて、同じ30件で結果が良くなるかを試す（不正解）
検索に原因がある場合、モデルを替えても直らず、原因の特定にもなりません。
出題範囲：CCAR-P 分野4「評価・テスト・最適化」・項目4.4 問題の診断（プロンプト・ハルシネーション・モデルの不適合）
参考資料（公式ドキュメント）
公開資料をもとにした独自解説です。本番の問題・難易度・合否を再現するものではありません。