TF-IDFで重みが高い語
L市は、住民からの問い合わせ文書1,000件をTF-IDFで分析している。ある1件の文書に含まれる語について、その文書での出現回数と、1,000件のうちその語を含む文書の数を下表に示す。TF-IDFは「その文書での出現回数 × log10(全文書数 ÷ その語を含む文書数)」で計算する。この文書でTF-IDFが最も大きい語を1つ選べ。
- A
粗大
- B
市
- C
ごみ
- D
です
正解と解説を見る
正解:A
TF-IDFは、その文書での出現頻度(TF)と、他の文書での珍しさ(IDF)の積である。どの文書にも出る語は、出現回数が多くても重みが小さくなる。
| 語 | この文書での出現回数 | その語を含む文書数(全1,000件中) |
|---|---|---|
| 市 | 8 | 1,000 |
| ごみ | 3 | 200 |
| 粗大 | 3 | 20 |
| です | 10 | 990 |
- A
正しい。3 × log10(1,000 ÷ 20) = 3 × log10(50) ≒ 3 × 1.70 = 5.1 で最大となる。この文書によく出て、他の文書にはあまり出ない語なので、文書の特徴を表す。
- B
誤り。全1,000件に含まれるため log10(1) = 0 となり、出現回数が8回でもTF-IDFは0になる。
- C
誤り。3 × log10(1,000 ÷ 200) = 3 × log10(5) ≒ 2.1 で、同じ出現回数の「粗大」より含む文書が多い分、値が小さい。
- D
誤り。出現回数は最多の10回だが、ほぼすべての文書に含まれるため、10 × log10(1,000 ÷ 990) ≒ 0.04 と小さい。出現回数(TF)だけで判断した誤り。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。