ガードレール指標の設定
N社は、アプリのプッシュ通知を1日1回から1日3回に増やす施策をA/Bテストで検証する。主な指標はアプリの起動回数である。評価の設計として、最も適切なものを1つ選べ。
- A
主な指標である起動回数が増えれば成功なので、判断を迷わせないよう他の指標は確認しない。
- B
多くの指標を同時に見るほど判断が確かになるので、取得できる指標をすべて主な指標として扱う。
- C
長期的な影響を見るため、テスト期間中は指標を確認せず、1年後に一度だけまとめて集計する。
- D
起動回数を主な指標としつつ、通知の停止率やアンインストール率が悪化しないかもあわせて監視する。
正解と解説を見る
正解:D
A/Bテストでは、判断の軸となる主な指標を絞ったうえで、副作用を見張るガードレール指標を決めておく。主な指標だけを見ても、指標を広げすぎても判断を誤る。
- A
誤り。通知を増やすと起動は増えても、通知の停止や離脱が増えて長期的には損になることがある。
- B
誤り。主な指標を絞らないと、偶然よく見えた指標で判断してしまう多重比較の問題が起きる。
- C
誤り。悪影響を早く見つけられず、利用者の離脱などの損失が積み重なってしまう。
- D
正しい。主な指標の改善と引き換えに損なわれやすい指標を、ガードレールとして見張るのが適切である。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。