対話型モデルの学習段階
L社は社内向けの対話AIを開発している。開発には、大規模言語モデルを対話向けに育てる一般的な学習段階を取り入れる。このうち「人が複数の回答に付けた順位をもとに、人の好みに合う回答を出しやすくする段階」の説明として正しいものを1つ選べ。
- A
順位データから報酬モデルを作り、その報酬が高くなるよう強化学習で調整する
- B
大量の文章を使って、次に来る単語を予測するようにモデルを学習させる
- C
推論時のプロンプトに良い回答の例を入れて、出力の形式や傾向を誘導する
- D
指示文と模範解答の組を用意して、模範解答を正解とする教師あり学習を行う
正解と解説を見る
正解:A
対話型モデルは一般に、事前学習(次の単語の予測)、指示チューニング(模範解答による教師あり学習)、RLHF(人の順位付けから作った報酬モデルによる強化学習)の順に作られる。プロンプトでの工夫は推論時の調整で、モデルの重みは変わらない。
- A
正しい。人間のフィードバックによる強化学習(RLHF)の説明。回答の良し悪しを点数化する報酬モデルを使い、その点数が高くなるように方策を更新する。
- B
誤り。事前学習の説明。言語の一般的な知識は身につくが、人の好みや順位は使っていない。
- C
誤り。フューショットプロンプトの説明。モデルの重みは更新されず、学習段階の話ではない。
- D
誤り。指示チューニング(教師ありファインチューニング)の説明。人が書いた模範解答を正解にしており、回答どうしの順位は使わない。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。