予測確率の較正の確認
保険会社で、契約者ごとに翌年の解約確率を出すモデルを作った。テストデータでのAUCは0.85だった。予測確率を区間に分けて実際の解約率と比べた結果が下の表である。この結果の読み方として最も適切なものを1つ選べ。
- A
実際の解約率が予測確率と一致していないので、解約者と継続者をまったく識別できていない
- B
予測確率が実際の解約率より低く出ているので、解約者数の見積もりにそのまま使うと少なすぎる
- C
解約しやすい順には並べられているが、確率は高めに出ており、解約者数の見積もりにそのまま使うと多すぎる
- D
AUCが0.85と高いので、予測確率はそのまま実際の解約率として人数の見積もりに使える
正解と解説を見る
正解:C
AUCは順位付けの性能、較正(キャリブレーション)は予測確率の値が実際の割合と合っているかを表す。順位付けがよくても確率が過大なら、期待人数や期待損失の計算には較正してから使う。
| 予測確率の区間 | 件数 | 予測確率の平均 | 実際の解約率 |
|---|---|---|---|
| 0.0〜0.2 | 4,000 | 0.10 | 0.09 |
| 0.2〜0.4 | 2,500 | 0.30 | 0.18 |
| 0.4〜0.6 | 1,500 | 0.50 | 0.31 |
| 0.6〜0.8 | 1,200 | 0.70 | 0.45 |
| 0.8〜1.0 | 800 | 0.90 | 0.62 |
- A
誤り。実際の解約率は区間とともに0.09から0.62まで上がっており、識別はできている。ずれているのは確率の水準である。
- B
誤り。ずれの向きが逆。0.2以上のどの区間でも予測確率の平均が実際の解約率を上回っており、過大に予測している。
- C
正しい。区間が上がるにつれて実際の解約率も上がるので順位付けはできている。一方、予測確率0.9の区間で実際は0.62のように、予測確率が実際を上回っている。人数の見積もりに使うなら較正が必要になる。
- D
誤り。AUCは順位付けのよさだけを測る指標で、確率の値が実際の割合と合っているかは評価しない。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。