閾値変更と再現率の変化
保険のI社は不正請求を検知する分類モデルを、1,000件の評価データ(うち不正は100件)で評価した。判定の閾値を0.5から0.3に下げると、混同行列は表のように変わった。この変化の説明として正しいものを1つ選べ。
- A
適合率は0.40から0.70に上がり、再現率は約0.67から約0.47に下がった
- B
再現率は0.40から0.70に上がり、適合率は約0.67から約0.47に下がった
- C
再現率は0.40から0.70に上がり、正解率も0.92から0.94に上がった
- D
再現率も適合率も上がったので、閾値0.3のほうがすべての点で優れている
正解と解説を見る
正解:B
閾値を下げると陽性と判定する件数が増えるので、再現率は上がり、適合率は下がりやすい。どちらを優先するかは見逃しと誤検知のコストで決める。
| 閾値 | 不正を不正と判定(TP) | 不正を正常と判定(FN) | 正常を不正と判定(FP) | 正常を正常と判定(TN) |
|---|---|---|---|---|
| 0.5 | 40 | 60 | 20 | 880 |
| 0.3 | 70 | 30 | 80 | 820 |
- A
誤り。適合率と再現率を逆にしている。分母が「実際の不正」なのが再現率、「不正と判定したもの」なのが適合率。
- B
正しい。再現率 = TP ÷ (TP + FN) なので 40 ÷ 100 = 0.40 から 70 ÷ 100 = 0.70。適合率 = TP ÷ (TP + FP) なので 40 ÷ 60 ≈ 0.67 から 70 ÷ 150 ≈ 0.47。
- C
誤り。正解率 = (TP + TN) ÷ 全体 なので、920 ÷ 1,000 = 0.92 から 890 ÷ 1,000 = 0.89 に下がっている。
- D
誤り。適合率は約0.67から約0.47に下がっている。閾値を下げると見逃しは減るが、誤検知が増えるのが一般的。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。