人の評価で応答を調整する学習
A社は自社向けのチャットAIを開発している。事前学習を終えたモデルは自然な文章を作れるが、回答が冗長だったり、不適切な表現が混ざったりする。そこで、同じ質問への複数の回答を人が比べて順位を付け、そのデータから「好ましい回答」を判定する評価モデルを作った。そして、この評価を報酬として元のモデルを調整した。この手法として、最も適切なものを1つ選べ。
- A
知識蒸留
- B
自己教師あり学習による事前学習
- C
人間のフィードバックによる強化学習(RLHF)
- D
検索拡張生成(RAG)
正解と解説を見る
正解:C
RLHFは、人が回答を比べた結果から評価モデル(報酬モデル)を作り、その評価を報酬にしてモデルを調整する方法である。応答の有用性や安全性を高めるために使われる。
- A
誤り。知識蒸留は、大きなモデルの出力を小さなモデルに学ばせて軽くする方法である。人の好みを報酬にする仕組みではない。
- B
誤り。事前学習は、大量の文章で次に来る語を予測して学ぶ段階である。人が回答を比べて付けた順位は使わない。
- C
正しい。人が付けた順位から報酬を返す評価モデルを作り、強化学習でモデルの応答を人の好みに近づける。対話型AIを調整する代表的な方法である。
- D
誤り。RAGは、外部の文書を検索して入力に加え、それをもとに回答させる方法で、モデルの重みは変えない。人の順位付けを報酬にして学習するわけではない。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。