← 学習メニュー
CCAR-P 練習問題 35
CCAR-P
問い合わせのアシスタントで、プロンプトの新旧2版を A/B テストしています。リクエストごとに版を振り分けたところ、同じ利用者の会話の途中で口調が変わったという苦情が届き、会話の単位の解決率も比べにくくなりました。テストの設計として最も適切なのはどれですか。
スポンサーリンク
選択肢を押して回答
正解と解説
正解：A
判断のポイント
A/B テストでは、振り分けの単位を評価する体験の単位（利用者や会話）に合わせ、期間中は固定します。
A. 利用者の単位で振り分け、テストの期間中は同じ利用者に同じ版を使わせる（正解）
振り分けの単位は、評価する体験の単位に合わせます。会話や利用者の単位で固定すると、体験が一貫し、解決率などの指標も正しく比べられます。
B. A/B テストをやめ、オフラインの評価の結果だけで決める（不正解）
本番の利用者の行動での比較という目的を失います。
C. リクエストごとの振り分けを続け、苦情は少数なので無視する（不正解）
会話の途中で版が混ざる限り、会話の単位の指標を正しく比べられません。
D. 曜日ごとに版を切り替え、月曜は旧版、火曜は新版のように交互に使う（不正解）
曜日による利用の違いが結果に混ざり、版の効果と区別できません。
出題範囲：CCAR-P 分野4「評価・テスト・最適化」・項目4.3 A/Bテストと反復改善
参考資料（公式ドキュメント）
公開資料をもとにした独自解説です。本番の問題・難易度・合否を再現するものではありません。