アノテーション基準のぶれ
部品メーカーで、外観検査AIの学習用に、部品画像へ「良品」「不良」のラベルを3人の検査員が手分けして付けた。集計すると、不良と判定した割合が検査員ごとに 5%、12%、20% と大きく違っていた。モデルを学習させる前の対応として適切なものを2つ選べ。
- A
判定基準書と、良品・不良の境界になる見本画像を用意して基準をそろえる
- B
不良と判定した割合が最も高い検査員のラベルだけを残して学習に使う
- C
ラベルのぶれは学習データを増やせば平均化されるので、そのまま学習に使う
- D
一部の画像を複数人で重ねてラベル付けし、検査員どうしの一致率を確かめる
正解と解説を見る
正解:A・D
教師データのラベルが人によってぶれる場合は、基準を明文化し、重ねてラベル付けした一致率で品質を確かめてから学習に使う。データ量を増やせば解決するとは限らない。
- A
正しい。人によって判定基準が違うと、同じような画像に違うラベルが付き、モデルは一貫した境界を学べない。まず基準を明文化する。
- B
誤り。判定が厳しい人が正しいとは限らない。良品を不良とする誤りが多い可能性もあり、そのぶれをモデルが学んでしまう。
- C
誤り。検査員ごとに担当した画像が違うため、ぶれは偶然の誤差ではなく系統的な偏りになる。データを増やしても打ち消されない。
- D
正しい。重ねて付けたラベルの一致率から、ぶれの大きさや基準が分かれやすい画像を把握し、ラベルを見直す手がかりにできる。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。