データ資格 模擬試験

DS検定 模擬試験 第5回 問61・データエンジニアリング(データ収集(API・スクレイピング・センサ))

スクレイピングの失敗検知

E社は、利用規約で取得が認められている公開サイトから、商品価格を毎日自動で収集している。ある日からサイトのHTML構造が変わり、価格の列が空欄になっていた。しかし、収集処理はエラーなく正常終了していた。最も適切な対策を1つ選べ。

  1. A

    取得したHTMLは保存せずに捨て、抽出後の値だけを残すように変える

  2. B

    アクセス間隔を短くして、価格が取れるまで同じページを繰り返し取得する

  3. C

    取得件数や空欄の割合を毎回点検し、基準から外れたときに担当者へ通知する

  4. D

    空欄になった価格は前日の値で埋め、処理が止まらないことを優先する

正解と解説を見る

正解:C

スクレイピングは相手サイトの変更で黙って壊れることがある。件数や欠損率を監視し、異常を通知する仕組みが必要になる。

学習のポイント:「エラーなし=正しいデータ」ではない。処理の成否とデータの中身は別に点検する。

この問題を演習で解く →

DS検定のトップへ 問題一覧へ

このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。