スクレイピングの失敗検知
E社は、利用規約で取得が認められている公開サイトから、商品価格を毎日自動で収集している。ある日からサイトのHTML構造が変わり、価格の列が空欄になっていた。しかし、収集処理はエラーなく正常終了していた。最も適切な対策を1つ選べ。
- A
取得したHTMLは保存せずに捨て、抽出後の値だけを残すように変える
- B
アクセス間隔を短くして、価格が取れるまで同じページを繰り返し取得する
- C
取得件数や空欄の割合を毎回点検し、基準から外れたときに担当者へ通知する
- D
空欄になった価格は前日の値で埋め、処理が止まらないことを優先する
正解と解説を見る
正解:C
スクレイピングは相手サイトの変更で黙って壊れることがある。件数や欠損率を監視し、異常を通知する仕組みが必要になる。
- A
誤り。元のHTMLがないと、原因の調査や抽出し直しができなくなる。
- B
誤り。構造の変化は再取得では直らない。相手のサーバーに負荷をかけることにもなる。
- C
正しい。処理が正常終了していても中身が壊れていることがある。データの品質を点検すれば早く気づける。
- D
誤り。取得の失敗が隠れ、誤った価格データが溜まり続ける。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。