データ資格 模擬試験

DS検定 模擬試験 第3回 問51・データサイエンス(生成AIの基礎と活用)

対話型モデルの学習段階

L社は社内向けの対話AIを開発している。開発には、大規模言語モデルを対話向けに育てる一般的な学習段階を取り入れる。このうち「人が複数の回答に付けた順位をもとに、人の好みに合う回答を出しやすくする段階」の説明として正しいものを1つ選べ。

  1. A

    順位データから報酬モデルを作り、その報酬が高くなるよう強化学習で調整する

  2. B

    大量の文章を使って、次に来る単語を予測するようにモデルを学習させる

  3. C

    推論時のプロンプトに良い回答の例を入れて、出力の形式や傾向を誘導する

  4. D

    指示文と模範解答の組を用意して、模範解答を正解とする教師あり学習を行う

正解と解説を見る

正解:A

対話型モデルは一般に、事前学習(次の単語の予測)、指示チューニング(模範解答による教師あり学習)、RLHF(人の順位付けから作った報酬モデルによる強化学習)の順に作られる。プロンプトでの工夫は推論時の調整で、モデルの重みは変わらない。

学習のポイント:「順位付け→報酬モデル→強化学習」が RLHF。模範解答を使う教師あり学習とは分けて覚える。

この問題を演習で解く →

DS検定のトップへ 問題一覧へ

このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。