データ資格 模擬試験

DS検定 模擬試験 第6回 問48・データサイエンス(モデル利活用と評価)

予測確率の較正の確認

保険会社で、契約者ごとに翌年の解約確率を出すモデルを作った。テストデータでのAUCは0.85だった。予測確率を区間に分けて実際の解約率と比べた結果が下の表である。この結果の読み方として最も適切なものを1つ選べ。

  1. A

    実際の解約率が予測確率と一致していないので、解約者と継続者をまったく識別できていない

  2. B

    予測確率が実際の解約率より低く出ているので、解約者数の見積もりにそのまま使うと少なすぎる

  3. C

    解約しやすい順には並べられているが、確率は高めに出ており、解約者数の見積もりにそのまま使うと多すぎる

  4. D

    AUCが0.85と高いので、予測確率はそのまま実際の解約率として人数の見積もりに使える

正解と解説を見る

正解:C

AUCは順位付けの性能、較正(キャリブレーション)は予測確率の値が実際の割合と合っているかを表す。順位付けがよくても確率が過大なら、期待人数や期待損失の計算には較正してから使う。

予測確率の区間件数予測確率の平均実際の解約率
0.0〜0.24,0000.100.09
0.2〜0.42,5000.300.18
0.4〜0.61,5000.500.31
0.6〜0.81,2000.700.45
0.8〜1.08000.900.62

学習のポイント:「並べ替えの正しさ(AUC)」と「確率の値の正しさ(較正)」は別の性質だと区別する。

この問題を演習で解く →

DS検定のトップへ 問題一覧へ

このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。