データ資格 模擬試験

DS検定 模擬試験 第6回 問54・データサイエンス(非構造化データ処理(テキスト・画像・音声))

問い合わせ文の表記ゆれ

C社のコールセンターでは、問い合わせ文から話題ごとの件数を集計している。ところが「パソコン」「パソコン」「PC」「pc」が別々の語として数えられ、件数が分散していた。この問題を解消する前処理として、最も適切なものを1つ選べ。

  1. A

    TF-IDFで各語に重みを付けて、文書ごとの特徴的な語を抽出する

  2. B

    「です」「ます」などのストップワードを除去して、意味の薄い語を減らす

  3. C

    全角・半角や大文字・小文字を統一したうえで、同義語辞書で同じ語にまとめる

  4. D

    形態素解析で文を単語に分割し、品詞ごとに出現回数を数える

正解と解説を見る

正解:C

表記ゆれを解消するには、文字種の正規化(全角・半角、大文字・小文字の統一)と、同義語辞書による語の統一を組み合わせる。

学習のポイント:ストップワード除去は不要な語を消す処理で、ゆれをまとめるのは正規化と同義語辞書だと区別する。

この問題を演習で解く →

DS検定のトップへ 問題一覧へ

このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。