データ資格 模擬試験

DS検定 模擬試験 第2回 問48・データサイエンス(モデル利活用と評価)

交差検証での情報の漏れ

D社は、会員の解約を予測するモデルを作り、5分割交差検証で性能を評価した。次の手順のうち、検証用データの情報が学習に漏れ込み、評価結果が実際より良く出るおそれがあるものを2つ選べ。

  1. A

    全データで各特徴量の平均と標準偏差を計算して標準化し、そのあとで5つに分割して交差検証を行った

  2. B

    全データで解約との相関が高い特徴量を上位20個選び、その20個だけを使って交差検証を行った

  3. C

    同じ会員の複数の行が学習用と検証用に分かれないよう、会員単位でまとめて5つに分割した

  4. D

    分割のたびに学習用データだけで平均値を求め、その値で学習用と検証用の両方の欠損値を補完した

正解と解説を見る

正解:A・B

標準化・欠損値補完・特徴量選択などの前処理で使う統計量や選び方は、分割のたびに学習用データだけから決める。全データで先に決めると、検証用データの情報が漏れ、評価が楽観的になる。

学習のポイント:前処理を分割の前に行っていないかに注目する。正解ラベルを使う特徴量選択は、特に見落としやすい。

この問題を演習で解く →

DS検定のトップへ 問題一覧へ

このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。