割り付け単位の選び方
通販のL社は、「あといくらで送料無料」の表示方法を変えるA/Bテストを計画している。担当者は、アクセス(セッション)ごとにランダムにA・Bの表示を割り付ける予定である。この設計への指摘として最も適切なものを1つ選べ。
- A
同じ顧客が来訪のたびに違う表示を見て反応が混ざるので、顧客単位で割り付けるべきである。
- B
反応が混ざらないよう、前半の期間は全員に旧表示、後半の期間は全員に新表示を出して比べる。
- C
セッション単位のほうが標本数が多く検出力が高いので、この設計のまま進めてよい。
- D
割り付けの単位は結果に影響しないので、集計の段階で顧客単位にまとめ直せば足りる。
正解と解説を見る
正解:A
A/Bテストの割り付けは、施策の影響が及ぶ単位(多くは顧客単位)で行う。単位が細かすぎると群の間で影響が混ざり、効果が過小に見えたり、標本の独立性が崩れたりする。
- A
正しい。何度も来訪する顧客が両方の表示を見ると、群の差が薄まり、効果を正しく測れない。割り付けは顧客単位にする。
- B
誤り。期間を分けると、季節やキャンペーンなど時期の違いが効果と区別できなくなる。
- C
誤り。見かけの標本数は増えるが、同じ人のデータは互いに独立ではない。反応が混ざることも解消しない。
- D
誤り。両方の表示を見た顧客は、後からまとめ直してもどちらの群にも分けられない。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。