多数の指標を検定するときの注意
通販サイトを運営するC社は、新しい商品ページのA/Bテストを行い、購入率・滞在時間・離脱率など20個の指標をそれぞれ有意水準5%で検定した。その結果、1つの指標だけが有意になった。この結果の扱い方として適切なものを2つ選べ。
- A
次回からは、テスト開始前に判定に使う主要指標を決めておき、その指標で効果を判断する
- B
有意になった指標については、新しいページに効果がある確率が95%だと解釈して報告する
- C
有意になった1つの指標だけを報告書に載せ、新しいページには効果があったと結論づける
- D
ボンフェローニ補正などで、1指標あたりの有意水準を 0.05 ÷ 20 = 0.0025 に下げて判定し直す
正解と解説を見る
正解:A・D
多数の指標を検定すると、効果がなくても偶然に有意になる指標が出やすい(20回なら約64%)。主要指標を事前に決めるか、多重比較の補正で有意水準を調整する。
- A
正しい。判定に使う指標を事前に1つに決めておけば、多数の検定のうち偶然有意になったものを拾って結論にする事態を防げる。
- B
誤り。有意水準5%は「効果がないときに誤って有意になる確率」の上限であり、効果がある確率が95%という意味ではない。
- C
誤り。有意になった結果だけを選んで報告すると、偶然の偽陽性を効果として示してしまう。検定した指標の数も含めて報告する必要がある。
- D
正しい。効果がまったくなくても、20回検定すれば少なくとも1つが有意になる確率は 1 − 0.95^20 ≒ 0.64 ある。有意水準を検定の回数で調整して、偽陽性を抑える。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。