比較基準となるベースライン
小売のE社は、各店舗の翌日の売上を予測する機械学習モデルを作り、テストデータでのMAEが8万円になった。このモデルを導入する価値があるかを判断するため、最初に比較する相手として最も適切なものを1つ選べ。
- A
同じモデルで設定値だけを変えた場合のテストMAE
- B
同じモデルを学習データで評価したときのMAE
- C
別の地域の店舗向けに作られた予測モデルのMAE
- D
前週同曜日の売上をそのまま予測値とした場合のテストMAE
正解と解説を見る
正解:D
モデルの評価値は、前週同曜日の値や平均値などの単純なベースラインと比べて初めて意味を持つ。MAE 8万円という数字だけでは、良いか悪いかを判断できない。
- A
誤り。モデル同士の調整の比較にはなるが、単純な方法に勝っているかどうかはわからない。
- B
誤り。学習データへの当てはまりの良さを示すだけで、未知のデータでどれだけ役立つかの比較にはならない。
- C
誤り。対象やデータが異なるので、誤差の大小をそのまま比べても判断の根拠にならない。
- D
正しい。単純な方法(ベースライン)よりも誤差が小さくなって初めて、複雑なモデルを導入する意味があると言える。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。