判定しきい値を下げた影響
カード会社のJ社は、不正利用を検知する分類モデルを評価データ1,000件に適用し、「不正」と判定するしきい値を0.5と0.3にしたときの結果を下表にまとめた(不正を陽性とする)。しきい値を0.5から0.3に下げたときの変化として正しいものを1つ選べ。数値は小数第3位を四捨五入する。
- A
再現率は0.67から0.90に上がり、適合率は0.99から0.96に下がった
- B
再現率は0.67から0.90に上がり、適合率は0.80から0.60に下がった
- C
正解率が0.97から0.96に下がったので、0.3のほうが不正を見逃しやすい
- D
適合率は0.67から0.90に上がり、再現率は0.80から0.60に下がった
正解と解説を見る
正解:B
しきい値を下げると陽性判定が増え、見逃しが減って再現率は上がる一方、誤検知が増えて適合率は下がる。この2つはトレードオフの関係にある。
| しきい値 | 真陽性 TP | 偽陽性 FP | 偽陰性 FN | 真陰性 TN |
|---|---|---|---|---|
| 0.5 | 40 | 10 | 20 | 930 |
| 0.3 | 54 | 36 | 6 | 904 |
- A
誤り。0.99と0.96は特異度 TN ÷ (TN + FP)(930 ÷ 940、904 ÷ 940)であり、適合率ではない。
- B
正しい。再現率 = TP ÷ (TP + FN) は 40 ÷ 60 ≒ 0.67 から 54 ÷ 60 = 0.90 へ上がった。適合率 = TP ÷ (TP + FP) は 40 ÷ 50 = 0.80 から 54 ÷ 90 = 0.60 へ下がった。
- C
誤り。見逃し(FN)は20件から6件に減っている。正解率は全体の当たりの割合で、陰性が多い不均衡データでは見逃しの多さを表さない。
- D
誤り。適合率と再現率の名前を逆にしている。しきい値を下げると陽性判定が増えるので、見逃しが減って再現率が上がる。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。