多数の指標を同時に検定する
通販サイトのB社は、新しい商品ページのA/Bテストを行った。購入率、滞在時間、離脱率など20個の指標をそれぞれ有意水準5%で検定したところ、1つの指標だけでp値が0.03となり、ほかの19指標は有意ではなかった。この結果の解釈として適切なものを2つ選べ。
- A
残りの19指標は有意でなかったので、それらの指標では差がないことが示された。
- B
p値が0.03なので、この指標で新ページに効果がある確率は97%と解釈できる。
- C
実際には差がなくても、20指標を検定すれば平均して1指標ほどは偶然に有意となる。
- D
検定の回数を考えて有意水準を0.05 ÷ 20 = 0.0025に補正すると、この指標は有意とはいえない。
正解と解説を見る
正解:C・D
多くの指標を同じ有意水準で検定すると、本当は差がなくても偶然に有意になる指標が出やすい。指標を事前に絞るか、検定の回数に応じて有意水準を補正する。
- A
誤り。有意でないことは「差があるとはいえない」という意味であり、「差がない」ことの証明にはならない。
- B
誤り。p値は「差がないと仮定したとき、今回以上に極端な結果が出る確率」であり、効果がある確率ではない。
- C
正しい。差がない指標でも1回ごとに5%の確率で有意になるため、20回検定すれば 20 × 0.05 = 1 個程度の有意が偶然に出ると見込まれる(多重比較の問題)。
- D
正しい。ボンフェローニ補正の考え方。p値0.03は補正後の有意水準0.0025を上回るので、有意とは判断できない。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。