データ資格 模擬試験

DS検定 模擬試験 第6回 問99・価値創造(開発・評価・定着と効果測定)

割付比の偏りの点検

通販サイトのB社は、新しい商品推薦の効果を確かめるため、訪問者を50:50の比率で無作為にA群(従来)とB群(新方式)に割り付けるA/Bテストを2週間行った。集計結果は表のとおりである。なお、割付が本当に50:50なら、全20,000人のうちB群の人数の標準偏差は「√(20,000 × 0.5 × 0.5)」で約71人になる。この結果への対応として最も適切なものを1つ選べ。

  1. A

    人数の差は全体の4%ほどで小さいので、割付に問題はないとみなし、購入率の差をもとに新方式を採用する。

  2. B

    購入率は群ごとの人数で割った値なので、人数の偏りの影響は受けず、そのまま比較してよい。

  3. C

    A群から無作為に800人を除いて両群の人数をそろえ、そのうえで購入率の差を検定し直す。

  4. D

    人数の差は偶然では説明しにくいので、割付やログ記録の不具合を調べ、原因が分かるまで効果の判断を保留する。

正解と解説を見る

正解:D

A/Bテストでは、効果を比べる前に、割付比が設計どおりかを確かめる。偶然では説明できないずれ(サンプル比の不一致)があれば、群の構成が偏っている疑いがある。原因を調べるまで結論を出さない。

群訪問者数購入者数購入率
A群(従来)10,400人312人3.0%
B群(新方式)9,600人336人3.5%

学習のポイント:「率で比べれば人数差は関係ない」はひっかけ。人数の偏りは、群の中身の偏りを知らせる警報である。

この問題を演習で解く →

DS検定のトップへ 問題一覧へ

このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。