データ資格 模擬試験

DS検定 模擬試験 第4回 問84・データエンジニアリング(生成AIの実装と運用)

LLMアプリの評価方法

AE社は、生成AIを使った社内向けFAQ回答アプリを公開する予定で、今後もプロンプトや参照文書を改良していく。回答の品質を確かめ、改良による悪化を見逃さないための方法として適切なものを2つ選べ。

  1. A

    想定される質問と模範回答の評価用セットを作り、改良のたびに同じセットで回答を比べて確かめる。

  2. B

    公開後も利用者からの評価や誤りの報告を集め、回答の傾向を定期的に見直して改良に反映する。

  3. C

    回答の文字数が長いほど丁寧で情報量が多いとみなし、文字数の平均が増えた改良を採用する。

  4. D

    開発者が思いついた質問を数問だけ試し、文章が自然で読みやすければ品質は十分だと判断する。

正解と解説を見る

正解:A・B

生成AIのアプリは、評価用セットによる変更前後の比較と、本番での利用者の評価の収集を組み合わせて品質を管理する。文章の自然さや長さだけでは正確さを判断できない。

学習のポイント:「読みやすい」「長い」は品質の代わりにならない。正しさを確かめる基準を先に作る。

この問題を演習で解く →

DS検定のトップへ 問題一覧へ

このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。