問い合わせ文の表記ゆれ
C社のコールセンターでは、問い合わせ文から話題ごとの件数を集計している。ところが「パソコン」「パソコン」「PC」「pc」が別々の語として数えられ、件数が分散していた。この問題を解消する前処理として、最も適切なものを1つ選べ。
- A
TF-IDFで各語に重みを付けて、文書ごとの特徴的な語を抽出する
- B
「です」「ます」などのストップワードを除去して、意味の薄い語を減らす
- C
全角・半角や大文字・小文字を統一したうえで、同義語辞書で同じ語にまとめる
- D
形態素解析で文を単語に分割し、品詞ごとに出現回数を数える
正解と解説を見る
正解:C
表記ゆれを解消するには、文字種の正規化(全角・半角、大文字・小文字の統一)と、同義語辞書による語の統一を組み合わせる。
- A
誤り。TF-IDFは語の重要度を測る手法で、表記の異なる語は別の語のまま重みが計算される。
- B
誤り。ストップワード除去は頻出するが意味の薄い語を取り除く処理で、同じ意味の語の表記ゆれはまとめられない。
- C
正しい。文字の正規化で「パソコン」と「パソコン」、「PC」と「pc」をそろえ、同義語辞書で「パソコン」と「PC」をまとめれば、同じ話題として数えられる。
- D
誤り。分かち書きをしても、表記が違えば別の語として数えられるため、表記ゆれは解消しない。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。