← 学習メニュー
CCAR-F 練習問題 59
CCAR-F
シナリオ：構造化データの抽出
非構造の文書から情報を抽出し、JSON スキーマで検証して下流のシステムへ渡す仕組みを Claude で構築しています。高い正確度を保ちつつ、例外的なケースを適切に扱う必要があります。
国内の請求書の抽出では、確信度のしきい値を検証データで較正し、しきい値以上の結果を自動で通しています。来月から、書式の異なる海外の請求書も同じシステムで処理する予定です。海外の請求書のラベル付きのデータはまだありません。最も適切な対応はどれですか。
スポンサーリンク
選択肢を押して回答
正解と解説
正解：D
判断のポイント
確信度による振り分けは、較正したデータの範囲でしか信頼できません。新しい種類の入力を扱うときは、その種類のラベル付きのデータで測り直してから自動化します。
A. 海外の請求書だけ、しきい値を一律に高くして自動で通す件数を減らす（不正解）
どの値なら安全かは測ってみるまで分かりません。高くしても誤りが通る可能性は残ります。
B. 海外の請求書では、モデルに「慎重に確信度を付けること」と指示して運用を始める（不正解）
自己申告の確信度の較正は、指示では保証されません。
C. 国内の請求書で較正したしきい値をそのまま使い、自動で通す（不正解）
書式が違えば確信度と実際の正確度の関係も変わり得ます。誤った結果が自動で通る危険があります。
D. 海外の請求書のラベル付きのサンプルで正確度を測り、しきい値が使えるか確かめるまでは全件を人が確認する（正解）
確信度としきい値の関係は、較正に使ったデータの種類でしか保証されません。新しい種類の文書では、測定で確かめるまで自動の判定に頼らないようにします。
出題範囲：CCAR-F 分野5「文脈管理と信頼性」・項目5.5 人のレビューと確信度の較正
参考資料（公式ドキュメント）
公開資料をもとにした独自解説です。本番の問題・難易度・合否を再現するものではありません。