交差検証での情報の漏れ
D社は、会員の解約を予測するモデルを作り、5分割交差検証で性能を評価した。次の手順のうち、検証用データの情報が学習に漏れ込み、評価結果が実際より良く出るおそれがあるものを2つ選べ。
- A
全データで各特徴量の平均と標準偏差を計算して標準化し、そのあとで5つに分割して交差検証を行った
- B
全データで解約との相関が高い特徴量を上位20個選び、その20個だけを使って交差検証を行った
- C
同じ会員の複数の行が学習用と検証用に分かれないよう、会員単位でまとめて5つに分割した
- D
分割のたびに学習用データだけで平均値を求め、その値で学習用と検証用の両方の欠損値を補完した
正解と解説を見る
正解:A・B
標準化・欠損値補完・特徴量選択などの前処理で使う統計量や選び方は、分割のたびに学習用データだけから決める。全データで先に決めると、検証用データの情報が漏れ、評価が楽観的になる。
- A
正しい。標準化に使う平均と標準偏差に、検証用データの値が含まれてしまう。分割のたびに、学習用データだけで計算した値を使う必要がある。
- B
正しい。特徴量を選ぶ段階で、検証用データの正解ラベルを見てしまっている。特徴量の選択も、分割のたびに学習用データの中だけで行う必要がある。
- C
誤り。会員単位で分けることで、同じ会員の情報が両方に入る漏れを防いでいる。適切な手順である。
- D
誤り。補完に使う値を学習用データだけから求めているため、検証用データの情報は漏れていない。適切な手順である。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。