対話型AIを作る学習の段階
L社では、社内研修で対話型の大規模言語モデル(LLM)がどのように作られるかを説明することになった。一般的な作り方の説明として適切なものを2つ選べ。
- A
大量のテキストを使い、続く単語(トークン)を予測する事前学習を行う。
- B
事前学習では、人が作った質問と正解の組だけを使ってモデルを学習する。
- C
人の評価による調整で、学習データの収集時点より後の出来事を知識として覚えさせる。
- D
人が複数の応答を比べて良し悪しを評価し、その評価を使って好ましい応答に調整する。
正解と解説を見る
正解:A・D
対話型LLMは、大量のテキストによる次トークン予測の事前学習の後、指示に従う調整や人の評価による調整を経て作られる。調整では応答の仕方が変わるが、知識が最新になるわけではない。
- A
正しい。LLMはまず大量のテキストで次のトークンを予測する事前学習を行い、言葉の使い方や幅広い知識を身につける。
- B
誤り。事前学習は、正解をつけていない大量のテキストで行う。質問と回答の組を使うのは、その後の指示に従うための調整(ファインチューニング)である。
- C
誤り。人の評価による調整は応答の仕方を整えるためのもので、最新の知識を補うものではない。最新情報が必要なら、検索や社内文書を参照させる仕組み(RAGなど)を組み合わせる。
- D
正しい。人の評価を報酬として使う強化学習(RLHF)などで、役に立ち安全な応答をするよう調整する。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。