RAGでの文書の分割方法
AC社は社内規程を検索して回答するRAGのシステムを作った。規程の文書を一定の文字数で機械的に区切って検索用のデータにしたところ、「原則として〜。ただし〜の場合は除く」という条文の「ただし書き」が抜けた回答がたびたび出るようになった。改善策として、最も適切なものを1つ選べ。
- A
検索で取り出す分割の件数を1件だけに絞り、最も関連度が高い部分だけを生成AIに渡すようにする。
- B
見出しや条項の区切りに沿って文書を分割し、隣り合う分割の間を少し重ねて、条文の前後が切れないようにする。
- C
回答を作るときの温度パラメータを高くして、より多様な表現で条文の内容を説明させるようにする。
- D
分割の単位を1文ずつにまで細かくして件数を増やし、質問に最も近い1文だけを確実に検索できるようにする。
正解と解説を見る
正解:B
RAGでは、文書の分割(チャンク)の大きさと切り方が回答の質を左右する。意味のまとまりで分割し、前後を重ねると、条件が切り離されるのを防ぎやすい。
- A
誤り。ただし書きが別の分割にある場合、渡す件数を減らすとかえって抜けやすくなる。
- B
正しい。意味のまとまりで分割し、重なりを持たせることで、原則とただし書きが同じ検索結果に入りやすくなる。
- C
誤り。温度は出力のばらつきを調整するもので、検索で取り出す内容の抜けは解消しない。
- D
誤り。細かくするほど文脈が切れ、原則とただし書きが別々の分割になって、抜けがかえって増える。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。