ストップワード
テキスト分析で「は」「の」「です」のように、どの文章にも多く現れ意味が薄い語を除く理由として、最も適切なものを1つ選べ。
- A
どの文書にも多く現れて特徴を表しにくく、重要な語の分析をじゃまするため
- B
頻出する語ほど文書の特徴をよく表すので、分析の重みを大きくするため
- C
「サーバ」と「サーバー」のような表記ゆれをそろえ、同じ語として数えるため
- D
形態素解析でうまく区切れなかった語を取り除き、解析の誤りを減らすため
正解と解説を見る
正解：A
「は」「の」「です」のような語はどの文書にも多く現れて文書の特徴を表さないので、ストップワードとして除くと重要な語が見えやすくなる。表記ゆれの統一など、他の前処理の目的と取り違えやすい。
| 項目 | 内容 |
|---|---|
| 形態素解析 | 文を意味を持つ最小の単位に分け、品詞などを付ける |
| ストップワード | 「は」「の」など、どの文章にも多く現れて意味が薄い語を除く |
- A
正しい。こうした語は、ストップワードとして除外されることが多い。
- B
誤り。どの文書にも多く出る語は、文書どうしを見分ける手がかりにならない。
- C
誤り。表記ゆれの統一は、ストップワードの除去とは別の前処理。
- D
誤り。ストップワードは区切りの失敗ではなく、意味の薄い頻出語のこと。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。