会話履歴とコンテキスト長
AD社の問い合わせ用チャットボットは、大規模言語モデルのAPIに、それまでの会話履歴をすべて付けて送る作りになっている。会話が長く続くと、最初に利用者が伝えた注文番号や条件を無視した回答が出るようになった。原因と対策の組合せとして、最も適切なものを1つ選べ。
- A
一度に入力できるトークン数の上限を超えて古い履歴が切り捨てられているので、重要な情報を要約して毎回渡す。
- B
モデルが会話のたびに再学習されて以前の内容を忘れるので、再学習を止める設定をAPIで指定する。
- C
モデルの学習データが古く最近の情報を知らないので、より新しい時期まで学習したモデルに切り替える。
- D
温度パラメータが高く出力がばらついているので、温度を0に近づけて毎回同じ回答が出るようにする。
正解と解説を見る
正解:A
大規模言語モデルは、一度に扱える入力の長さ(コンテキスト長)の範囲しか参照できない。長い会話では、履歴の要約や重要な情報の保持などの工夫が必要になる。
- A
正しい。モデルは入力の範囲内しか参照できないため、上限を超えた古い履歴は使われない。要約や重要情報の保持で対処する。
- B
誤り。通常のAPI利用では会話ごとにモデルは再学習されず、毎回送った入力だけを参照して回答している。
- C
誤り。学習データの時期の問題ではなく、同じ会話の中で伝えた情報が入力から外れていることが原因である。
- D
誤り。温度を下げても、入力に含まれていない古い履歴を参照できるようにはならない。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。