データ資格 模擬試験

DS検定 模擬試験 第6回 問71・データエンジニアリング(データ蓄積(データウェアハウス・データレイク))

小さなファイルの大量発生

D社は工場のセンサデータを、1秒ごとに数KBのファイル1つとしてデータレイク(オブジェクトストレージ)に書き込んでいる。1年分で数千万ファイルになり、月次の集計クエリが非常に遅くなった。データ量そのものは数百GB程度である。最も効果的な対策を1つ選べ。

  1. A

    小さなファイルを定期的にまとめ、1つ数百MB程度の大きなファイルに書き直す。

  2. B

    保存先のフォルダを秒単位のパーティションに分け、検索範囲を細かくする。

  3. C

    集計を実行するサーバーのメモリを増やし、一度に読めるデータ量を増やす。

  4. D

    1ファイルずつgzipで圧縮し、ストレージに置くデータの容量を減らす。

正解と解説を見る

正解:A

データレイクでは、総容量が小さくてもファイル数が多すぎると、一覧取得やファイルの開閉が負担になり遅くなる(スモールファイル問題)。定期的に大きなファイルへまとめて対処する。

学習のポイント:遅い原因が「データ量」か「ファイル数」かを見分ける。細かすぎるパーティションはファイル数を増やす側に働く。

この問題を演習で解く →

DS検定のトップへ 問題一覧へ

このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。