割付比の偏りの点検
通販サイトのB社は、新しい商品推薦の効果を確かめるため、訪問者を50:50の比率で無作為にA群(従来)とB群(新方式)に割り付けるA/Bテストを2週間行った。集計結果は表のとおりである。なお、割付が本当に50:50なら、全20,000人のうちB群の人数の標準偏差は「√(20,000 × 0.5 × 0.5)」で約71人になる。この結果への対応として最も適切なものを1つ選べ。
- A
人数の差は全体の4%ほどで小さいので、割付に問題はないとみなし、購入率の差をもとに新方式を採用する。
- B
購入率は群ごとの人数で割った値なので、人数の偏りの影響は受けず、そのまま比較してよい。
- C
A群から無作為に800人を除いて両群の人数をそろえ、そのうえで購入率の差を検定し直す。
- D
人数の差は偶然では説明しにくいので、割付やログ記録の不具合を調べ、原因が分かるまで効果の判断を保留する。
正解と解説を見る
正解:D
A/Bテストでは、効果を比べる前に、割付比が設計どおりかを確かめる。偶然では説明できないずれ(サンプル比の不一致)があれば、群の構成が偏っている疑いがある。原因を調べるまで結論を出さない。
| 群 | 訪問者数 | 購入者数 | 購入率 |
|---|---|---|---|
| A群(従来) | 10,400人 | 312人 | 3.0% |
| B群(新方式) | 9,600人 | 336人 | 3.5% |
- A
誤り。差の割合が小さく見えても、標本が大きいと偶然の範囲をはるかに超える。比率の見た目だけで割付が正常だと判断してはいけない。
- B
誤り。率に直すと人数の大小はそろうが、どんな人が各群に入ったかの偏りは消えない。割付の不具合で群の構成が変わっていれば、率の比較も歪む。
- C
誤り。人数をそろえても、偏りを生んだ原因は残る。B群から特定の訪問者が抜けていれば、無作為に削っても比較の偏りは直らない。
- D
正しい。期待値10,000人からのずれは400人で、標準偏差約71人の5倍を超える。偶然とは考えにくい(サンプル比の不一致)。特定の訪問者が片方の群から抜けている可能性があり、その場合は購入率の比較そのものが偏る。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。