データ資格 模擬試験

DS検定 模擬試験 第2回 問18・データサイエンス(科学的解析の基礎(記述統計・推測統計・検定))

多数の指標を検定するときの注意

通販サイトを運営するC社は、新しい商品ページのA/Bテストを行い、購入率・滞在時間・離脱率など20個の指標をそれぞれ有意水準5%で検定した。その結果、1つの指標だけが有意になった。この結果の扱い方として適切なものを2つ選べ。

  1. A

    次回からは、テスト開始前に判定に使う主要指標を決めておき、その指標で効果を判断する

  2. B

    有意になった指標については、新しいページに効果がある確率が95%だと解釈して報告する

  3. C

    有意になった1つの指標だけを報告書に載せ、新しいページには効果があったと結論づける

  4. D

    ボンフェローニ補正などで、1指標あたりの有意水準を 0.05 ÷ 20 = 0.0025 に下げて判定し直す

正解と解説を見る

正解:A・D

多数の指標を検定すると、効果がなくても偶然に有意になる指標が出やすい(20回なら約64%)。主要指標を事前に決めるか、多重比較の補正で有意水準を調整する。

学習のポイント:「20回検定して1回有意」は、効果がなくても起こりやすい結果だと覚えておく。

この問題を演習で解く →

DS検定のトップへ 問題一覧へ

このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。