モデル再学習の判断基準
AB社は、店舗ごとの来客数を予測するモデルを本番で運用している。周辺の環境や客の行動が変わると、予測の精度が下がるおそれがある。再学習の進め方として、最も適切なものを1つ選べ。
- A
精度の変化にかかわらず、毎年決まった月に1回だけ再学習し、それ以外の時期はモデルを変えない。
- B
新しいデータが届くたびに自動で再学習し、評価を挟まずにそのまま本番のモデルと置き換える。
- C
予測の誤差や入力データの分布を継続して監視し、事前に決めた基準を超えたら再学習と評価を行う。
- D
開発時の検証データで高い精度が出ていたので、本番での精度は監視せずにそのまま使い続ける。
正解と解説を見る
正解:C
本番のモデルは、予測誤差や入力分布を監視し、基準を超えたら再学習して評価してから入れ替える。定期的に再学習するだけ、または評価なしの自動入れ替えでは品質を保てない。
- A
誤り。急な環境の変化で精度が下がっても、次の再学習まで劣化したモデルを使い続けることになる。
- B
誤り。異常なデータで学習したモデルが評価なしで本番に出るおそれがあり、品質を確かめられない。
- C
正しい。監視と基準を決めておくことで、劣化を早く見つけ、評価を経て安全に再学習できる。
- D
誤り。開発時の精度は当時のデータでの結果にすぎず、データの変化(ドリフト)で精度は下がりうる。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。