データ資格 模擬試験

DS検定 模擬試験 第5回 問80・データエンジニアリング(AIシステムの運用(MLOps))

正解が遅れるモデルの監視

P社は、融資の審査に貸し倒れを予測するモデルを使っている。実際に貸し倒れたかどうか(正解ラベル)が判明するのは、融資から約1年後である。運用中にモデルの劣化の兆候をできるだけ早く捉える監視として、最も適切なものを1つ選べ。

  1. A

    学習時の検証データで精度を毎月計算し直し、値が変わらないことを確かめる

  2. B

    推論APIの応答時間だけを監視し、遅くならなければ問題がないと判断する

  3. C

    正解ラベルがそろう1年後まで待ち、精度を計算してから初めて点検する

  4. D

    入力される特徴量や予測スコアの分布を学習時と比べ、大きな変化を監視する

正解と解説を見る

正解:D

正解ラベルが遅れて届くモデルでは、入力や予測の分布を監視して、早めに劣化の兆候を捉える。ラベルがそろった時点で精度も検証する。

学習のポイント:「精度が測れないから監視できない」ではなく、ラベルなしで見られる分布の変化を代わりの指標にする。

この問題を演習で解く →

DS検定のトップへ 問題一覧へ

このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。