正解が遅れるモデルの監視
P社は、融資の審査に貸し倒れを予測するモデルを使っている。実際に貸し倒れたかどうか(正解ラベル)が判明するのは、融資から約1年後である。運用中にモデルの劣化の兆候をできるだけ早く捉える監視として、最も適切なものを1つ選べ。
- A
学習時の検証データで精度を毎月計算し直し、値が変わらないことを確かめる
- B
推論APIの応答時間だけを監視し、遅くならなければ問題がないと判断する
- C
正解ラベルがそろう1年後まで待ち、精度を計算してから初めて点検する
- D
入力される特徴量や予測スコアの分布を学習時と比べ、大きな変化を監視する
正解と解説を見る
正解:D
正解ラベルが遅れて届くモデルでは、入力や予測の分布を監視して、早めに劣化の兆候を捉える。ラベルがそろった時点で精度も検証する。
- A
誤り。同じ過去のデータで計算すれば結果は変わらない。現在の入力の変化は捉えられない。
- B
誤り。応答時間はシステムの健全性を示すもので、予測の質の劣化は分からない。
- C
誤り。劣化に気づくまで1年かかり、その間に誤った審査が続くおそれがある。
- D
正しい。正解ラベルがなくても、入力や出力の分布の変化(データドリフト)は観測できる。劣化の早期の兆候として使える。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。