学習時点より新しい情報
B市は、住民からの問い合わせに答えるため、大規模言語モデルを使ったチャットボットを試験的に導入した。今年度に改定された証明書の交付手数料を尋ねると、チャットボットは改定前の古い金額を、迷いのない口調で答えた。この原因と対策として、最も適切なものを1つ選べ。
- A
出力のばらつきが小さすぎることが原因のため、temperatureを上げて多様な回答を出させれば、改定後の金額が出やすくなる
- B
利用回数が少ないことが原因のため、同じ質問を繰り返して誤りを指摘すれば、モデルがそのやり取りから学習して次回から正しく答える
- C
質問文が短すぎることが原因のため、プロンプトを詳しく長くすれば、モデルが内部で最新の情報を学習し直して答えるようになる
- D
モデルは学習データを集めた時点より後の情報を持たないため、最新の規程文書を検索して回答の根拠として渡す仕組みを組み合わせる
正解と解説を見る
正解:D
LLMは学習データを集めた時点までの情報しか持たないため、それより後の改定は答えられず、もっともらしい古い情報を返す。最新の文書を検索して渡す仕組み(RAGなど)を組み合わせるのが基本的な対策になる。
- A
誤り。temperatureは、次に出す語の選び方のばらつきを調整するだけで、モデルが持っていない情報は増えない。上げると、むしろもっともらしい誤りが増えやすい。
- B
誤り。通常の利用では、会話の内容でモデルの重みがその場で更新されることはない。会話の中で一時的に直っても、別の会話では同じ誤りが出る。
- C
誤り。プロンプトを工夫しても、モデルの重みは更新されず、学習し直すことはない。プロンプトの中に最新の金額そのものを入れない限り、正しい金額は出てこない。
- D
正しい。モデルが知っているのは、学習データを集めた時点までの情報に限られる。改定後の金額は、最新の文書を検索して渡す(RAGなど)か、モデルを更新しない限り答えられない。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。