目的変数を使う符号化の注意
通販のF社は購入予測モデル(購入 = 1、非購入 = 0)を作るため、47区分ある「都道府県」列を、その都道府県の購入率に置き換えた。購入率は全データで計算し、その後に学習用とテスト用に分けた。すると、テストでの評価が本番運用時より大幅に高くなった。原因と対処の組合せとして、最も適切なものを1つ選べ。
- A
購入率の値が0〜1と小さく偏っているので、標準化してから学習に使う
- B
区分数が多すぎて未学習になっているので、都道府県をワンホット表現に戻す
- C
都道府県と購入の相関が強すぎるので、都道府県の列を分析から外す
- D
テスト側の正解が購入率に混入しているので、学習用データの中だけで購入率を計算する
正解と解説を見る
正解:D
目的変数を使うターゲットエンコーディングは、学習用データ(各分割の学習部分)だけで計算しないとリークが起き、評価が過大になる。分割してから計算するのが原則である。
- A
誤り。標準化は尺度をそろえる処理で、目的変数の情報が混入している問題は解消しない。
- B
誤り。今回の症状は評価が高すぎることで、未学習とは逆の現象である。表現を変えても、リークを直さない限り根本的な解決にならない。
- C
誤り。相関が強いこと自体は問題ではない。計算方法を直せば有用な特徴量として使える可能性がある。
- D
正しい。全データで購入率を計算すると、テストの目的変数が特徴量に入り込む(リーク)。学習用データ、さらに交差検証では各分割の学習部分だけで計算する必要がある。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。