データ資格 模擬試験

DS検定 模擬試験 第5回 問85・データエンジニアリング(生成AIの実装と運用)

LLMの版の固定

U社は、外部のLLMのAPIを使った議事録の要約機能を運用している。提供元がモデルを更新すると、要約の長さや書き方の傾向が変わることがある。この変化への備えとして適切なものを2つ選べ。

  1. A

    常に最新の版を自動で使う設定にし、変化は利用者からの問い合わせで把握する

  2. B

    temperatureを0に設定すれば、モデルの版が変わっても出力は同じに保たれる

  3. C

    呼び出すモデルの版を明示して固定し、新しい版への切り替えは計画的に行う

  4. D

    代表的な入力と期待する出力の評価セットを用意し、版を変える前に比較する

正解と解説を見る

正解:C・D

外部のLLMを使う機能では、モデルの版を固定し、評価セットによる比較テストを経て、計画的に新しい版へ移行する。

学習のポイント:temperatureは「同じモデルの中でのばらつき」の設定で、版の変化への対策にはならない。

この問題を演習で解く →

DS検定のトップへ 問題一覧へ

このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。