データ資格 模擬試験

DS検定 模擬試験 第2回 問46・データサイエンス(生成AIの基礎と活用)

学習時点より新しい情報

B市は、住民からの問い合わせに答えるため、大規模言語モデルを使ったチャットボットを試験的に導入した。今年度に改定された証明書の交付手数料を尋ねると、チャットボットは改定前の古い金額を、迷いのない口調で答えた。この原因と対策として、最も適切なものを1つ選べ。

  1. A

    出力のばらつきが小さすぎることが原因のため、temperatureを上げて多様な回答を出させれば、改定後の金額が出やすくなる

  2. B

    利用回数が少ないことが原因のため、同じ質問を繰り返して誤りを指摘すれば、モデルがそのやり取りから学習して次回から正しく答える

  3. C

    質問文が短すぎることが原因のため、プロンプトを詳しく長くすれば、モデルが内部で最新の情報を学習し直して答えるようになる

  4. D

    モデルは学習データを集めた時点より後の情報を持たないため、最新の規程文書を検索して回答の根拠として渡す仕組みを組み合わせる

正解と解説を見る

正解:D

LLMは学習データを集めた時点までの情報しか持たないため、それより後の改定は答えられず、もっともらしい古い情報を返す。最新の文書を検索して渡す仕組み(RAGなど)を組み合わせるのが基本的な対策になる。

学習のポイント:temperatureの調整、プロンプトの工夫、会話での指摘では、モデルの知識は新しくならない点に注意する。

この問題を演習で解く →

DS検定のトップへ 問題一覧へ

このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。