データ資格 模擬試験

DS検定 模擬試験 第4回 問50・データサイエンス(モデル利活用と評価)

同一患者をまたぐ分割

C病院では、患者の検査記録から30日以内の再入院を予測するモデルを作った。データは患者1人につき平均5件の検査記録を含む。記録を1行ずつランダムに5分割して交差検証したところ、AUCは表のとおり高かった。ところが、新しく来院した患者に適用すると、AUCは大きく下がった。この状況の説明と対応として適切なものを2つ選べ。

  1. A

    同じ患者の記録が学習側と検証側の両方に入り、患者固有の特徴を覚えた分だけ評価が高く出た可能性がある

  2. B

    患者IDを単位に分割し、同じ患者が学習側と検証側にまたがらないようにして交差検証をやり直す

  3. C

    分割数を5から10に増やして各回の検証データを小さくすれば、評価の過大さは解消できる

  4. D

    差の原因は新規患者の傾向が変わったコンセプトドリフトであり、評価方法は変えずに再学習を続ける

正解と解説を見る

正解:A・B

1人に複数の記録がある場合に行単位でランダムに分割すると、同じ人の情報が検証側に漏れ、交差検証の成績が過大になる。本番で新しい人に適用するなら、人(グループ)単位で分割して評価する。

評価の場面AUC
行単位のランダム5分割交差検証(平均)0.92
新規来院患者への適用(3か月分)0.71

学習のポイント:交差検証の分け方は本番の使い方に合わせる。分割数を増やしても漏れは直らない。

この問題を演習で解く →

DS検定のトップへ 問題一覧へ

このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。