データ資格 模擬試験

DS検定 模擬試験 第5回 問98・価値創造(開発・評価・定着と効果測定)

導入直後の効果の過大評価

L社は、ECサイトのおすすめ表示の画面デザインを変更し、新旧デザインを無作為に振り分けて比較するA/Bテストを4週間行った。新デザインのクリック率が旧デザインより何%高かったかを週ごとにまとめると、下の表のようになった。この結果の解釈と対応として、最も適切なものを1つ選べ。

  1. A

    目新しさで一時的に増えた可能性があるので、効果が落ち着いた後の水準で判断する。

  2. B

    最初の週に最も大きな効果が出ているので、1週目の+12%を新デザインの実力とみなす。

  3. C

    効果が週ごとに変わっているのでテストの設計に誤りがあると考え、結果をすべて捨てる。

  4. D

    4週間の平均の上昇幅である約5%を、新デザインの長期的な効果として見込む。

正解と解説を見る

正解:A

新しい画面や機能は、導入直後に目新しさで反応が一時的に高まることがある(ノベルティ効果)。テストは十分な期間行い、効果の推移を見て、落ち着いた後の水準で判断する。

週新デザインのクリック率の上昇(旧デザイン比)
1週目+12%
2週目+6%
3週目+2%
4週目+1%

学習のポイント:期間全体の平均や初週の値は、一時的な上昇を含んで効果を大きく見せやすい。

この問題を演習で解く →

DS検定のトップへ 問題一覧へ

このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。