オーバーサンプリングの順序
E銀行の分析担当者は、不正取引を検知するモデルを作っている。不正取引は全体の0.5%しかない。担当者は全データに、少数クラスのデータを合成して増やす手法(SMOTE)を適用し、不正と正常を同数にした。その後に学習用と評価用を8:2に分け、評価用データで再現率0.95を得た。この手順の問題点として最も適切なものを1つ選べ。
- A
学習用の不正事例から合成した似たデータが評価用に入り込み、評価が実際より甘くなる。
- B
不正と正常を同数にしたので、評価指標には再現率ではなく正解率を使うべきだった。
- C
オーバーサンプリングは評価用データにだけ適用すべきで、学習用データに使うべきではない。
- D
分割比率を7:3に変えて評価用データを増やせば、評価が甘くなる問題は解消される。
正解と解説を見る
正解:A
オーバーサンプリングや標準化などのデータに依存する前処理は、分割後に学習用データだけで行う。評価用データは本番と同じ分布のまま評価する。
- A
正しい。分割前に合成したため、評価用データに学習用データとほぼ同じ合成事例が混ざる(リーク)。オーバーサンプリングは分割後に学習用データだけへ適用し、評価用は本番に近い比率のままにする。
- B
誤り。本番では不正が0.5%しかないため、評価には適合率や再現率が向く。また、指標を正解率に変えても合成データによるリークは解消しない。
- C
誤り。適用する対象が逆。少数クラスを増やすのは学習用データで、評価用データは本番の比率のまま残す。
- D
誤り。分割前に合成している限り、比率を変えても評価用データに合成事例が混ざる問題は残る。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。