多数の指標を検定する危うさ
B社のマーケティング担当者は、新しいメール施策の効果を開封率・クリック率・購入率など20種類の指標で調べ、指標ごとに有意水準5%の検定を行った。実際には施策の効果がまったくなく、20回の検定は互いに独立だとする。このとき、少なくとも1つの指標で「有意差あり」と判定される確率に最も近いものを1つ選べ。なお、0.95の20乗は約0.36である。
- A
約5%
- B
約64%
- C
約36%
- D
100%
正解と解説を見る
正解:B
検定を何度も繰り返すと、効果がなくてもどれかの指標が偶然有意になる確率は 1 − 0.95の20乗 ≈ 64% まで上がる。主要な指標を事前に決めておくか、ボンフェローニ法などで有意水準を補正する。
- A
誤り。5%は検定1回あたりの第1種の誤りの確率。検定を繰り返すと、どこかで誤って有意になる確率は大きくなる。
- B
正しい。1回の検定で誤って有意にならない確率は0.95なので、20回とも有意にならない確率は0.95の20乗 ≈ 0.36。少なくとも1回有意になる確率は 1 − 0.36 = 0.64。
- C
誤り。0.36は20回とも有意にならない確率で、求める確率はその余事象(1 − 0.36)。
- D
誤り。5% × 20 = 100% と単純に足しているが、確率は足し算では求められない。誤って有意になる確率は1に近づくだけで、1にはならない。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。