有意差なしの解釈
M社は、会員登録画面の改善案を検証するために、各群200人ずつで小規模なA/Bテストを行った。登録率は現行画面が5.0%、改善案が6.0%で、2群の差の検定のp値は約0.66だった。この結果の解釈として、最も適切なものを1つ選べ。
- A
p値が約0.66なので、改善案に効果がある確率は約34%であると解釈できる。
- B
登録率が1ポイント上がっているので、p値にかかわらず改善案の効果は確認できたといえる。
- C
p値が0.05より大きいので、改善案には効果がないことが統計的に証明されたといえる。
- D
サンプルが少なく差を検出できなかった可能性があり、改善案に効果がないとは結論できない。
正解と解説を見る
正解:D
有意差が出なかったときは、効果がない場合と、サンプル不足で検出できなかった場合を区別する。テストの前に、検出したい差の大きさから必要なサンプルサイズを見積もっておく。
- A
誤り。p値は、差がないと仮定したときにこれ以上の差が偶然に生じる確率であり、効果がある確率ではない。
- B
誤り。この人数では偶然でも生じうる差であり、効果があるとも言い切れない。
- C
誤り。検定で有意にならなくても、帰無仮説(差がない)が正しいと証明されたことにはならない。
- D
正しい。有意差がないことは効果がないことの証明ではなく、検出力が足りなかった可能性がある。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。