同一患者をまたぐ分割
C病院では、患者の検査記録から30日以内の再入院を予測するモデルを作った。データは患者1人につき平均5件の検査記録を含む。記録を1行ずつランダムに5分割して交差検証したところ、AUCは表のとおり高かった。ところが、新しく来院した患者に適用すると、AUCは大きく下がった。この状況の説明と対応として適切なものを2つ選べ。
- A
同じ患者の記録が学習側と検証側の両方に入り、患者固有の特徴を覚えた分だけ評価が高く出た可能性がある
- B
患者IDを単位に分割し、同じ患者が学習側と検証側にまたがらないようにして交差検証をやり直す
- C
分割数を5から10に増やして各回の検証データを小さくすれば、評価の過大さは解消できる
- D
差の原因は新規患者の傾向が変わったコンセプトドリフトであり、評価方法は変えずに再学習を続ける
正解と解説を見る
正解:A・B
1人に複数の記録がある場合に行単位でランダムに分割すると、同じ人の情報が検証側に漏れ、交差検証の成績が過大になる。本番で新しい人に適用するなら、人(グループ)単位で分割して評価する。
| 評価の場面 | AUC |
|---|---|
| 行単位のランダム5分割交差検証(平均) | 0.92 |
| 新規来院患者への適用(3か月分) | 0.71 |
- A
正しい。行単位で分割すると、同じ患者の別の記録が学習側に含まれる。そのため、検証の場面で実質的に「既に見た患者」を当てる形になり、AUCが過大に評価される(情報の漏れ)。
- B
正しい。患者単位で分割(グループ単位の交差検証)すると、新しい患者に適用する本番の状況に近い条件で評価でき、過大な評価を防げる。
- C
誤り。分割数を増やしても行単位で分ける限り、同じ患者が学習側と検証側にまたがる状況は変わらない。むしろ学習側に含まれる同じ患者の記録が増え、漏れは強まりうる。
- D
誤り。ドリフトの可能性は否定できないが、行単位の分割で同じ患者の記録が学習側と検証側に入るという評価設計の欠陥を先に疑うべきである。評価方法を変えないままでは、再学習しても正しく評価できない。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。