LLM出力の形式検証
T社は、問い合わせメールからLLMで注文番号と数量を抽出してJSON形式で出力させ、その結果をそのまま在庫システムに登録している。ときどき、数量が文字列になっていたり、項目が欠けていたりして、登録エラーや誤登録が起きる。最も適切な対策を1つ選べ。
- A
欠けた項目や不正な値は0や空文字で埋め、処理を止めずに在庫システムへ登録する
- B
出力をスキーマで検証し、不合格なら再生成するか人の確認に回してから登録する
- C
temperatureを高くして多様な出力を得て、最初に得られた結果を登録する
- D
プロンプトで正しいJSONを出力するよう強調すれば、検証を省いて登録してよい
正解と解説を見る
正解:B
LLMの出力を他のシステムに渡すときは、スキーマによる検証、再試行、人による確認を組み合わせ、誤りがそのまま流れないようにする。
- A
誤り。誤った数量が在庫に反映され、気づきにくい誤登録になる。
- B
正しい。LLMの出力は形式が崩れることがある。システムに渡す前に機械的に検証し、例外の処理を決めておく。
- C
誤り。temperatureを上げると出力のばらつきが増え、形式の崩れはかえって起きやすくなる。
- D
誤り。プロンプトで工夫すれば崩れる頻度は減るが、なくなるわけではない。検証は省けない。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。