途中確認での打ち切り
M社はサイトの新しいデザインをA/Bテストで評価している。担当者は毎日p値を確認し、p値が0.05を下回った日にテストを終えて「新デザインに効果あり」と結論づけるつもりでいる。この進め方への指摘として、最も適切なものを1つ選べ。
- A
毎日確認すると、本当は効果があるのに見逃す確率が高くなるので、確認の回数を減らすべきだ。
- B
途中で止めても、p値が0.05を下回っていれば誤りの確率は5%以下に保たれるので、問題はない。
- C
p値が0.05を下回った時点で効果の大きさも確定するので、途中で止めても推定に偏りは生じない。
- D
何度も確認して有意になった時点で止めると、効果がなくても有意と判断する確率が5%より大きくなる。
正解と解説を見る
正解:D
A/Bテストでは、必要な標本の大きさや期間を事前に決め、そこで判定する。途中で何度も確認して有意になった時点で止めると、誤って効果ありと判断する確率が高まる。
- A
誤り。この進め方で主に膨らむのは、効果がないのにありと判断する誤り(第1種の誤り)のほうだ。
- B
誤り。有意水準5%が保証されるのは、事前に決めた標本の大きさで1回だけ検定した場合だ。
- C
誤り。有意になったところで止めると、効果の大きさを過大に見積もりやすい。
- D
正しい。検定を何度も繰り返すと、偶然に有意になる機会が増え、第1種の誤りの確率が膨らむ。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。