データ資格 模擬試験

DS検定 模擬試験 第4回 問61・データエンジニアリング(データ収集(API・スクレイピング・センサ))

更新分だけの差分抽出

F社では毎晩、基幹システムの注文テーブル(約5,000万件)を全件抽出して分析基盤へ送っており、処理が朝までに終わらなくなってきた。注文テーブルには、行が追加・更新されると自動で書き換わる「更新日時」列がある。また、注文の確定後にキャンセルや数量の変更が入ることがある。抽出の時間を短くしつつ、変更を漏らさない方法として、最も適切なものを1つ選べ。

  1. A

    全件抽出は続けたまま、抽出したファイルを圧縮してから分析基盤へ転送する。

  2. B

    注文IDが前回の抽出時の最大値より大きい行だけを取り出し、分析基盤に追加していく。

  3. C

    更新日時が前回の抽出時刻より後の行だけを取り出し、分析基盤側の同じ注文を上書きする。

  4. D

    毎晩、注文テーブルから無作為に10%の行を抽出し、分析基盤のデータを置き換える。

正解と解説を見る

正解:C

差分抽出では、更新日時などを使い、前回以降に追加・更新された行だけを取り出す。IDの連番だけでは、既存の行の更新をとらえられない。

学習のポイント:「新しく増えた行」と「書き換わった行」の両方を拾えるかで判断する。

この問題を演習で解く →

DS検定のトップへ 問題一覧へ

このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。