TF-IDFによる語の重み
K社は問い合わせ文1,000件から特徴語を取り出すため、TF-IDFを使う。TF = 文書内のその語の出現回数 ÷ 文書の総語数、IDF = log10(全文書数 ÷ その語を含む文書数)、TF-IDF = TF × IDF とする。ある文書は総語数が100語で、「返品」が3回出てくる。「返品」を含む文書は1,000件中10件である。この文書における「返品」のTF-IDFとして、正しいものを1つ選べ。
- A
6
- B
0.03
- C
0.09
- D
0.06
正解と解説を見る
正解:D
TF-IDFは、文書内でよく出てきて、ほかの文書には少ない語ほど大きくなる。「返品」のTF-IDFは 0.03 × 2 = 0.06 である。全文書に出てくる語は IDF = log10(1) = 0 となり、重みが0になる。
- A
誤り。TF に出現回数の3をそのまま使っている(3 × 2 = 6)。今回の定義では総語数100で割る。
- B
誤り。TF の値で止めており、IDF を掛けていない。ほかの文書にどれだけ出てくるかが反映されていない。
- C
誤り。IDF を log10(1,000) = 3 とし、その語を含む文書数で割っていない(0.03 × 3 = 0.09)。
- D
正しい。TF = 3 ÷ 100 = 0.03。IDF = log10(1,000 ÷ 10) = log10(100) = 2。TF-IDF = 0.03 × 2 = 0.06。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。