量子化後のメモリ量
A社は社内チャット用に、パラメータ数70億の言語モデルを自社サーバで動かしたい。重みは1個あたり16ビットで保存されている。これを4ビットに量子化したとき、重みの保存に必要なメモリ量として最も近いものを1つ選べ。1バイト = 8ビット、1GB = 10の9乗バイトとし、重み以外のメモリは考えない。
- A
約14GB
- B
約7GB
- C
約28GB
- D
約3.5GB
正解と解説を見る
正解:D
量子化は重みのビット数を減らしてメモリと計算量を削る手法で、16ビットから4ビットにすると重みの容量は4分の1(14GB → 3.5GB)になる。そのかわり、精度がいくらか下がることがある。
- A
誤り。量子化する前の16ビットのまま計算した値(70億 × 2バイト)。
- B
誤り。8ビット(1バイト)に量子化した場合の値で、4ビットならさらに半分になる。
- C
誤り。70億 × 4 の「4」をビットではなくバイトとして計算している。8で割る換算が抜けている。
- D
正しい。70億 × 4ビット = 280億ビット。8で割ると35億バイトで、約3.5GB。量子化前(16ビット)の14GBの4分の1になる。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。