Bag-of-Wordsの性質
家電メーカーのK社は、問い合わせ文をBag-of-Words(文書ごとに各単語の出現回数を数えたベクトル)に変換して分類モデルを作ろうとしている。この表現の性質として正しいものを2つ選べ。
- A
語順の情報が失われ、「AがBを壊した」と「BがAを壊した」が同じベクトルになる
- B
語彙が増えるほど次元が大きくなり、ほとんどの要素が0の疎なベクトルになる
- C
「故障」と「不具合」のような同義語は、近い値のベクトルとして表される
- D
出現回数を数えるので、文書の長さが違っても各要素の値はそろう
正解と解説を見る
正解:A・B
Bag-of-Wordsは単純で扱いやすい一方、語順と単語間の意味の近さを失い、高次元で疎なベクトルになる。文書の長さの影響も受ける。
- A
正しい。出現回数だけを数えるので語順は残らない。使われる語が同じなら、意味が逆の文でも区別できない。
- B
正しい。語彙の数がそのまま次元数になり、1つの文書には一部の語しか出てこないので、要素の大半が0になる。
- C
誤り。単語ごとに別々の次元を割り当てるので、同義語どうしの近さは表せない。意味の近さを表すのは単語の埋め込みである。
- D
誤り。長い文書ほど出現回数が大きくなりやすい。長さの影響を抑えるには、割合への変換やTF-IDF、正規化が必要になる。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。