オフライン評価と実効果の差
ECサイトを運営するM社は、過去のクリックログで評価すると、AUCが現行モデルより高い新しい推薦モデルを作った。ところがA/Bテストでは、購入数に意味のある差が出なかった。この結果の受け止め方として、最も適切なものを1つ選べ。
- A
オフラインのAUCが高い以上、A/Bテストのほうに誤りがあるとみなし、新モデルを全面的に導入する。
- B
A/Bテストで差が出なかったので、推薦の仕組みそのものに効果がないと結論づけて推薦を廃止する。
- C
AUCの差が小さかっただけなので、AUCをさらに高めれば購入数も確実に増えると判断して改良を続ける。
- D
過去ログは現行モデルが表示した商品に偏るため、オフライン評価が実効果を映しにくかった可能性を疑う。
正解と解説を見る
正解:D
過去ログによるオフライン評価は、過去の推薦が表示した商品に偏ったデータに頼るため、実際の効果と食い違うことがある。最終的な判断は、A/Bテストのような実環境での効果測定を重く見る。
- A
誤り。実際の利用環境での効果を測るA/Bテストのほうが、事業効果の根拠としては強い。
- B
誤り。今回比べたのは2つのモデルの差であり、推薦そのものの効果を否定する結果ではない。
- C
誤り。オフラインの指標と購入数の関係が崩れている可能性があり、指標を上げても効果は保証されない。
- D
正しい。ログは過去の推薦の結果でしか集まらず、偏りのため実際の効果とずれることがある。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。