データ資格 模擬試験

DS検定 模擬試験 第4回 問47・データサイエンス(生成AIの基礎と活用)

人の評価で応答を調整する学習

A社は自社向けのチャットAIを開発している。事前学習を終えたモデルは自然な文章を作れるが、回答が冗長だったり、不適切な表現が混ざったりする。そこで、同じ質問への複数の回答を人が比べて順位を付け、そのデータから「好ましい回答」を判定する評価モデルを作った。そして、この評価を報酬として元のモデルを調整した。この手法として、最も適切なものを1つ選べ。

  1. A

    知識蒸留

  2. B

    自己教師あり学習による事前学習

  3. C

    人間のフィードバックによる強化学習(RLHF)

  4. D

    検索拡張生成(RAG)

正解と解説を見る

正解:C

RLHFは、人が回答を比べた結果から評価モデル(報酬モデル)を作り、その評価を報酬にしてモデルを調整する方法である。応答の有用性や安全性を高めるために使われる。

学習のポイント:人が順位を付けて報酬にするのはRLHF。外部の文書を参照させるRAGとは仕組みが違う。

この問題を演習で解く →

DS検定のトップへ 問題一覧へ

このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。