大標本での有意差の解釈
動画配信のA社が、新しい画面デザインを50万人ずつのA/Bテストで比べた。1人あたりの平均視聴時間は旧デザイン45.0分、新デザイン45.1分で、t検定のp値は0.0003だった。この結果の受け止め方として適切なものを2つ選べ。
- A
標本がとても大きいと、わずかな差でもp値は小さくなりやすい
- B
p値が0.0003と小さいので、新デザインの効果は大きいと判断できる
- C
新デザインに効果がない確率は、0.03%しかないと言える
- D
差の大きさや信頼区間を見て、0.1分の差に実務上の価値があるか判断する
正解と解説を見る
正解:A・D
大標本では小さな差でもp値が小さくなるので、有意かどうかに加えて、差の大きさと信頼区間から実務上の価値を判断する。p値は効果の大きさも、帰無仮説が正しい確率も表さない。
- A
正しい。標準誤差は標本サイズの平方根に反比例して小さくなるため、大標本では0.1分ほどの差でも有意になりやすい。
- B
誤り。p値は効果の大きさを表さない。差がどれだけ大きいかは、差そのものや効果量で判断する。
- C
誤り。p値は「効果がない」と仮定したときに、これほど極端な差が出る確率であり、仮説が正しい確率ではない。
- D
正しい。統計的に有意であることと、ビジネス上意味のある差であることは別なので、効果量や信頼区間で判断する。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。