LLMの学習段階の違い
M社の社内勉強会で、対話型の大規模言語モデル(LLM)がどのように作られるかを説明することになった。LLMの学習段階の説明として最も適切なものを1つ選べ。
- A
事前学習で文章を検索用データベースに保存し、応答時にはそこから該当する文を探して返している
- B
人が正解を付けた質疑応答だけで事前学習を行い、その後に大量の文章を読み込ませて知識を追加する
- C
人の評価を使った調整では、利用者との会話からモデルが自動で学び続け、応答がその場で更新される
- D
大量の文章で次の語を予測する事前学習を行い、その後に人の評価を使った調整で応答を好ましいものに近づける
正解と解説を見る
正解:D
LLMは、大量の文章による次の語の予測(事前学習)で土台を作り、指示に沿った応答例や人の評価(RLHF)による調整で、対話に適した振る舞いを身につける。
- A
誤り。それはRAG(検索拡張生成)や検索システムの説明と混同している。LLMは、学習で得た重みにもとづいて次の語を確率的に生成している。
- B
誤り。順序と規模が逆である。事前学習はラベルのない大量の文章で行い、人が作った少量の応答例は後の調整段階で使う。
- C
誤り。RLHFは提供前に、評価者の比較データを使ってまとめて行う調整である。利用中の会話でモデルの重みがその場で更新されるわけではない。
- D
正しい。事前学習で言語の知識と文章を生成する力を身につけ、指示に沿った応答例による学習や、人の評価による強化学習(RLHF)で、役に立つ安全な応答に近づける。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。