推薦が学習データを偏らせる問題
通販のF社では、商品推薦モデルを毎週、前の週のクリックログで再学習している。ログに残るのは、ほぼモデルが推薦した商品へのクリックだけである。運用を続けるうちに、オフライン評価のクリック予測精度は上がったが、推薦される商品の種類が減り、新商品の売上が伸びなくなった。この現象の説明と対策として、最も適切なものを1つ選べ。
- A
モデルの推薦が次の学習データを決めるため、推薦されない商品のデータが集まらない。推薦の一部をランダムにして、データを集める枠を設ける。
- B
季節によって顧客の好みが変わるコンセプトドリフトが起きている。再学習の間隔を毎週から毎日に短くして、変化に追従させる。
- C
特徴量が多すぎて、モデルが学習データに過学習している。正則化を強めたり、特徴量を減らしたりして、汎化性能を高める。
- D
予測時点より後の情報が特徴量に混入するリークが起きている。購入後に決まる項目を特徴量から除いて、再学習する。
正解と解説を見る
正解:A
推薦や与信のように、モデルの判断で観測できるデータが決まるシステムでは、再学習のたびに偏りが強まるフィードバックループが起きる。探索の枠やランダム化した推薦で、偏りのないデータを集めて対策する。
- A
正しい。モデルの出力が将来の学習データを左右するフィードバックループが起きている。推薦されない商品は評価する機会がないので、偏りが強まる。一部をランダムに推薦するなどの探索で、偏りのないデータを集められる。
- B
誤り。同じ偏ったログで再学習の頻度を上げても、推薦した商品のデータばかり集まる構造は変わらず、偏りはむしろ速く強まる。
- C
誤り。過学習は学習データへの当てはまりすぎの問題で、学習データの集め方の偏りは解消できない。正則化を強めても、推薦されない商品のデータは増えない。
- D
誤り。リークがあると、オフライン評価が高いのに本番の精度が出なくなる。今回の問題は、推薦がログの中身を偏らせていることで、リークとは別の現象。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。