LLMアプリの評価方法
AE社は、生成AIを使った社内向けFAQ回答アプリを公開する予定で、今後もプロンプトや参照文書を改良していく。回答の品質を確かめ、改良による悪化を見逃さないための方法として適切なものを2つ選べ。
- A
想定される質問と模範回答の評価用セットを作り、改良のたびに同じセットで回答を比べて確かめる。
- B
公開後も利用者からの評価や誤りの報告を集め、回答の傾向を定期的に見直して改良に反映する。
- C
回答の文字数が長いほど丁寧で情報量が多いとみなし、文字数の平均が増えた改良を採用する。
- D
開発者が思いついた質問を数問だけ試し、文章が自然で読みやすければ品質は十分だと判断する。
正解と解説を見る
正解:A・B
生成AIのアプリは、評価用セットによる変更前後の比較と、本番での利用者の評価の収集を組み合わせて品質を管理する。文章の自然さや長さだけでは正確さを判断できない。
- A
正しい。同じ評価用セットで比べることで、改良による改善や悪化を客観的に確かめられる。
- B
正しい。想定外の質問や誤りは本番で見つかることが多く、継続的な見直しが欠かせない。
- C
誤り。長さと正確さは別であり、冗長な回答や誤った説明が増えても高く評価されてしまう。
- D
誤り。少数の試行では偏りが大きく、自然な文章でも内容が誤っている(ハルシネーション)ことがある。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。