小さなファイルの大量発生
D社は工場のセンサデータを、1秒ごとに数KBのファイル1つとしてデータレイク(オブジェクトストレージ)に書き込んでいる。1年分で数千万ファイルになり、月次の集計クエリが非常に遅くなった。データ量そのものは数百GB程度である。最も効果的な対策を1つ選べ。
- A
小さなファイルを定期的にまとめ、1つ数百MB程度の大きなファイルに書き直す。
- B
保存先のフォルダを秒単位のパーティションに分け、検索範囲を細かくする。
- C
集計を実行するサーバーのメモリを増やし、一度に読めるデータ量を増やす。
- D
1ファイルずつgzipで圧縮し、ストレージに置くデータの容量を減らす。
正解と解説を見る
正解:A
データレイクでは、総容量が小さくてもファイル数が多すぎると、一覧取得やファイルの開閉が負担になり遅くなる(スモールファイル問題)。定期的に大きなファイルへまとめて対処する。
- A
正しい。ファイルの一覧取得や開閉の手間がファイル数に比例して増えることが、遅さの主な原因である。ファイルをまとめる(コンパクション)とファイル数が減り、読み込みが速くなる。
- B
誤り。パーティションを細かくしすぎると、小さなファイルとフォルダがさらに増える。月次の集計はかえって遅くなる。
- C
誤り。データ量は数百GB程度で、問題はファイル数の多さにある。メモリを増やしても根本的な解決にはならない。
- D
誤り。容量は減ってもファイル数は変わらないので、ファイルを1つずつ開く手間は減らない。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。