データ資格 模擬試験

DS検定 模擬試験 第5回 問46・データサイエンス(モデル利活用と評価)

テストデータでの設定選び

通販のB社の分析者は、会員が解約するかを予測するモデルを作った。データは学習用60%、検証用20%、テスト用20%に分けた。ところが分析者は、ハイパーパラメータを何十通りも変えながら、そのたびにテスト用データでAUCを測った。そして、テスト用AUCが最も高かった0.86の設定を選び、この値を本番で期待できる性能として報告した。この進め方への指摘として適切なものを2つ選べ。

  1. A

    テスト用データの結果を見て設定を選んだため、0.86は本番の性能より高めに出ている可能性がある

  2. B

    設定は検証用データや交差検証の結果で選び、テスト用データは最後に1回だけ評価に使うべきである

  3. C

    テスト用データの割合を40%に増やせば、何度評価に使っても見積もりの偏りはなくなる

  4. D

    テスト用AUCが学習用AUCより高ければ過学習ではないので、0.86は本番の性能とみなしてよい

正解と解説を見る

正解:A・B

テスト用データで設定を選ぶと、そのデータに合わせ込んだ分だけ性能が高めに出る。設定の選択は検証用データや交差検証で行い、テスト用データは最終評価に1回だけ使う。

学習のポイント:検証用は「選ぶため」、テスト用は「最後に測るため」と役割を分けて覚える。

この問題を演習で解く →

DS検定のトップへ 問題一覧へ

このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。