導入直後の効果の過大評価
L社は、ECサイトのおすすめ表示の画面デザインを変更し、新旧デザインを無作為に振り分けて比較するA/Bテストを4週間行った。新デザインのクリック率が旧デザインより何%高かったかを週ごとにまとめると、下の表のようになった。この結果の解釈と対応として、最も適切なものを1つ選べ。
- A
目新しさで一時的に増えた可能性があるので、効果が落ち着いた後の水準で判断する。
- B
最初の週に最も大きな効果が出ているので、1週目の+12%を新デザインの実力とみなす。
- C
効果が週ごとに変わっているのでテストの設計に誤りがあると考え、結果をすべて捨てる。
- D
4週間の平均の上昇幅である約5%を、新デザインの長期的な効果として見込む。
正解と解説を見る
正解:A
新しい画面や機能は、導入直後に目新しさで反応が一時的に高まることがある(ノベルティ効果)。テストは十分な期間行い、効果の推移を見て、落ち着いた後の水準で判断する。
| 週 | 新デザインのクリック率の上昇(旧デザイン比) |
|---|---|
| 1週目 | +12% |
| 2週目 | +6% |
| 3週目 | +2% |
| 4週目 | +1% |
- A
正しい。上昇幅が週を追って縮んでおり、導入直後の目新しさによる効果を含んでいると考えられる。
- B
誤り。1週目は目新しさの影響が最も強く出る時期であり、持続する効果を表していない。
- C
誤り。効果が時間とともに変わること自体は自然であり、推移を読み取れば判断に使える。
- D
誤り。(12 + 6 + 2 + 1) ÷ 4 = 5.25%は初期の一時的な上昇を含むので、長期の効果を大きく見積もってしまう。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。