← 学習メニュー

CCAR-P 練習問題 12

CCAR-P

社内のコード説明ボットは、回答の正確さには問題がないものの、応答が遅いという声が多く出ています。評価セットで試すと、effort を high から medium に下げても正答率はほぼ変わらず、応答時間は約4割短くなりました。対応として最も適切なのはどれですか。

スポンサーリンク
1つ選択してください

選択肢を押して回答

正解と解説

正解:B

判断のポイント

推論の深さ(effort や思考)は、品質・遅延・費用のトレードオフで調整します。変更は評価で品質を確かめてから行います。

A. 思考を完全に無効にし、品質の確認は利用者の報告に任せる(不正解)

評価なしで品質を下げる危険を取り、問題の発見も遅れます。

B. 評価の結果を根拠に effort を medium に下げ、本番でも品質と遅延を監視する(正解)

effort はトークンの使い方を調整し、品質と遅延・費用のバランスを変えます。評価で品質が保てることを確かめてから下げ、本番でも監視します。

C. 評価をせずに、より小さいモデルへすぐ切り替える(不正解)

品質が基準を満たすかを確かめないまま、変更の幅を大きくしています。

D. max_tokens を小さくして、回答の長さで応答時間を縮める(不正解)

回答が途中で切れるおそれがあり、品質を損ないます。

出題範囲:CCAR-P 分野2「モデル・プロンプト・文脈の設計」・項目2.1 トレードオフに基づくモデル選択

参考資料(公式ドキュメント)

公開資料をもとにした独自解説です。本番の問題・難易度・合否を再現するものではありません。