データ資格 模擬試験

DS検定 模擬試験 第6回 問85・データエンジニアリング(AIシステムの運用(MLOps))

推薦が学習データを偏らせる問題

通販のF社では、商品推薦モデルを毎週、前の週のクリックログで再学習している。ログに残るのは、ほぼモデルが推薦した商品へのクリックだけである。運用を続けるうちに、オフライン評価のクリック予測精度は上がったが、推薦される商品の種類が減り、新商品の売上が伸びなくなった。この現象の説明と対策として、最も適切なものを1つ選べ。

  1. A

    モデルの推薦が次の学習データを決めるため、推薦されない商品のデータが集まらない。推薦の一部をランダムにして、データを集める枠を設ける。

  2. B

    季節によって顧客の好みが変わるコンセプトドリフトが起きている。再学習の間隔を毎週から毎日に短くして、変化に追従させる。

  3. C

    特徴量が多すぎて、モデルが学習データに過学習している。正則化を強めたり、特徴量を減らしたりして、汎化性能を高める。

  4. D

    予測時点より後の情報が特徴量に混入するリークが起きている。購入後に決まる項目を特徴量から除いて、再学習する。

正解と解説を見る

正解:A

推薦や与信のように、モデルの判断で観測できるデータが決まるシステムでは、再学習のたびに偏りが強まるフィードバックループが起きる。探索の枠やランダム化した推薦で、偏りのないデータを集めて対策する。

学習のポイント:オフライン評価の向上は、偏ったログの中で測った値なので、本番の効果とは分けて考える。

この問題を演習で解く →

DS検定のトップへ 問題一覧へ

このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。