LLMの版の固定
U社は、外部のLLMのAPIを使った議事録の要約機能を運用している。提供元がモデルを更新すると、要約の長さや書き方の傾向が変わることがある。この変化への備えとして適切なものを2つ選べ。
- A
常に最新の版を自動で使う設定にし、変化は利用者からの問い合わせで把握する
- B
temperatureを0に設定すれば、モデルの版が変わっても出力は同じに保たれる
- C
呼び出すモデルの版を明示して固定し、新しい版への切り替えは計画的に行う
- D
代表的な入力と期待する出力の評価セットを用意し、版を変える前に比較する
正解と解説を見る
正解:C・D
外部のLLMを使う機能では、モデルの版を固定し、評価セットによる比較テストを経て、計画的に新しい版へ移行する。
- A
誤り。品質の変化に気づくのが利用者からの苦情の後になり、業務への影響が先に出る。
- B
誤り。temperatureは同じモデルの中でのばらつきを抑える設定で、モデル自体が変われば出力は変わる。
- C
正しい。版を固定すれば意図しない変化を防げ、切り替えの時期を自社で管理できる。
- D
正しい。評価セットで新旧の版を比べれば、品質の変化を切り替えの前に確認できる。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。