多数の検定と偽陽性
通販サイトのB社は、新しいトップページの効果を調べるため、購入率・滞在時間などの20個の指標について、それぞれ有意水準5%で検定を行った。実際にはどの指標にも効果がなく、20個の検定は互いに独立とする。少なくとも1つの指標が誤って「有意」になる確率に最も近いものを1つ選べ。
- A
5%
- B
100%
- C
約64%
- D
約36%
正解と解説を見る
正解:C
検定を何度も繰り返すと、どれか1つが偶然有意になる確率は 1 − 0.95の20乗 ≒ 64% まで上がる。あらかじめ主指標を1つ決めておくか、ボンフェローニ法などで有意水準を補正する必要がある。
- A
誤り。検定1回あたりの第1種の過誤の確率で、20回まとめて行った場合の確率ではない。
- B
誤り。5% × 20 と単純に掛け算している。確率は足し合わせると重複を数えすぎ、1を超えることもあるので誤り。
- C
正しい。1つの検定で誤って有意にならない確率は 0.95。20個すべてで有意にならない確率は 0.95 の20乗 ≒ 0.358 なので、少なくとも1つ有意になる確率は 1 − 0.358 ≒ 0.64。
- D
誤り。20個すべてで有意にならない確率(0.95 の20乗)で、求める確率の余事象にあたる。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。