← 学習メニュー
CCAR-P 練習問題 33
CCAR-P
契約書の条項分類の評価データセット（500件）を作っています。正解のラベルは、法務部の3人が分担して付ける予定です。データセットの作り方として適切なものを2つ選んでください。
スポンサーリンク
選択肢を押して回答
正解と解説
正解：C・D
判断のポイント
評価データセットは、ラベルの基準の文書化と一致の確認、例の種類の記録によって、信頼できる比較と弱点の発見を可能にします。
A. 評価のたびにデータセットをランダムに作り直し、偏りをなくす（不正解）
版ごとの比較ができなくなり、改善の効果を確かめられません。
B. 正解のラベルは Claude に付けさせ、確認せずにそのまま使う（不正解）
評価の対象と同じ種類のモデルが付けた正解では、誤りを見逃す恐れがあります。
C. ラベルの付け方の基準を文書にし、一部の例を複数人で付けて、判断の食い違いを確かめる（正解）
正解のラベルが人によって揺れると、評価の点数が信頼できません。基準を文書にして一致の度合いを確かめ、食い違う例は基準を直す手掛かりにします。
D. 各例に種類（典型・境界・例外）の印を付け、種類ごとの点数も見られるようにする（正解）
全体の点数だけでは、境界の例での弱点が隠れます。種類ごとに見られるようにすると、どこを改善すべきかが分かります。
出題範囲：CCAR-P 分野4「評価・テスト・最適化」・項目4.2 評価データセットとテストの枠組み
参考資料（公式ドキュメント）
公開資料をもとにした独自解説です。本番の問題・難易度・合否を再現するものではありません。