需要予測の検証データの切り方
スーパーE社は、過去3年分の日次売上データで翌週の需要予測モデルを作った。全データの日付をランダムに選んで学習用8割・検証用2割に分けたところ、検証の精度は非常によかった。しかし、本番で将来を予測させると精度が大きく下がった。検証方法の改善として最も適切なものを1つ選べ。
- A
ランダムに分ける比率を学習用9割・検証用1割に変える
- B
曜日の比率がそろうように層化してからランダムに分ける
- C
古い期間で学習し、それより後の期間で検証するように時間で区切る
- D
日付をランダムに5分割して交差検証し、平均の精度で評価する
正解と解説を見る
正解:C
時系列データをランダムに分けると、検証期間より後のデータが学習に混ざり(リーク)、精度が過大に評価される。本番と同じ時間の向きで、学習期間と検証期間を区切って検証する。
- A
誤り。比率を変えても、検証日の前後の情報が学習に入る問題は残るため、精度は高く見えたままになる。
- B
誤り。曜日の偏りは減るが、未来の日が学習に入る点は変わらない。時系列ならではの情報の漏れは解消しない。
- C
正しい。ランダムに分けると、検証日の前後の日が学習に入り、未来の情報が混ざって精度が高く見える。本番と同じく過去から未来を予測する形で検証する。
- D
誤り。分割の回数を増やしても、どの回でも未来の日が学習に入る。評価が安定して見えるだけで、楽観的な偏りは残る。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。