← 学習メニュー
CCAR-P 練習問題 40
CCAR-P
本番の回答システムで、プロンプトとモデルを変えていないのに、数週間かけて利用者の評価が少しずつ下がっていました。原因は、利用者の質問の傾向が新製品の発売に伴って変わったことでしたが、気づくのが遅れました。監視の設計として最も適切なのはどれですか。
スポンサーリンク
選択肢を押して回答
正解と解説
正解：A
判断のポイント
運用中は、ログと可観測性の仕組みで、入力の分布と品質の指標を継続的に集計し、変化を警報で検知します。
A. ログから質問の分布と品質を集計し、変化に警報を出す（正解）
入力の分布の変化（ドリフト）や品質の低下は、ログに基づく継続的な集計と警報で早く検知します。本番のログから新しい種類の質問を評価セットに加える流れも作れます。
B. システムのエラー率と応答時間だけを監視し、回答の内容は監視しない（不正解）
エラーにならない品質の低下は検知できません。
C. 利用者の評価が一定以下に下がったら、その時点で全体を調査する（不正解）
下がってからでは検知が遅れ、どの変化が原因かも分かりにくくなります。
D. 品質の低下を防ぐため、質問の内容が変わらないよう利用者に定型の質問だけを使わせる（不正解）
利用者の自然な使い方を制限し、システムの価値を下げます。
出題範囲：CCAR-P 分野4「評価・テスト・最適化」・項目4.6 ログと可観測性による監視
参考資料（公式ドキュメント）
公開資料をもとにした独自解説です。本番の問題・難易度・合否を再現するものではありません。