テストデータでの設定選び
通販のB社の分析者は、会員が解約するかを予測するモデルを作った。データは学習用60%、検証用20%、テスト用20%に分けた。ところが分析者は、ハイパーパラメータを何十通りも変えながら、そのたびにテスト用データでAUCを測った。そして、テスト用AUCが最も高かった0.86の設定を選び、この値を本番で期待できる性能として報告した。この進め方への指摘として適切なものを2つ選べ。
- A
テスト用データの結果を見て設定を選んだため、0.86は本番の性能より高めに出ている可能性がある
- B
設定は検証用データや交差検証の結果で選び、テスト用データは最後に1回だけ評価に使うべきである
- C
テスト用データの割合を40%に増やせば、何度評価に使っても見積もりの偏りはなくなる
- D
テスト用AUCが学習用AUCより高ければ過学習ではないので、0.86は本番の性能とみなしてよい
正解と解説を見る
正解:A・B
テスト用データで設定を選ぶと、そのデータに合わせ込んだ分だけ性能が高めに出る。設定の選択は検証用データや交差検証で行い、テスト用データは最終評価に1回だけ使う。
- A
正しい。何度も評価して最良の値を選ぶと、モデルがテスト用データにたまたま合った分まで性能に含まれる。そのため、未知のデータでの性能を楽観的に見積もってしまう。
- B
正しい。テスト用データを選択に使わず、最後の評価だけに使えば、未知のデータでの性能を偏りなく見積もれる。
- C
誤り。データを増やしても、結果を見て設定を選ぶ限り、選んだ分の偏りは残る。割合の大きさで解決する問題ではない。
- D
誤り。学習用とテスト用の差を見ても、テスト用データで設定を選んだことによる偏りは分からない。0.86は依然として高めに出ている可能性がある。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。