TF-IDFで重い語
K社は家電の問い合わせ文書1,000件をTF-IDFで分析している。ある文書Xには「です」「返品」「液漏れ」がそれぞれ3回ずつ出てくる。1,000件のうち、これらの語を含む文書の数は、「です」が1,000件、「返品」が200件、「液漏れ」が10件である。IDF = log(全文書数 ÷ その語を含む文書数) とするとき、文書XでTF-IDFの値が最も大きい語を1つ選べ。
- A
返品
- B
液漏れ
- C
です
- D
3語とも同じ値になる
正解と解説を見る
正解:B
TF-IDFは、その文書でよく出て(TF)、他の文書ではあまり出ない(IDF)語に大きな重みを与える。全文書に出る語はIDFが0になる。
- A
誤り。IDFは log(5) で、log(100) の「液漏れ」より小さい。比較的多くの文書に出る語なので、重みは中程度にとどまる。
- B
正しい。3語の出現回数(TF)は同じで、含む文書が最も少ない「液漏れ」のIDFが log(100) で最大になる。文書Xを特徴づける語といえる。
- C
誤り。すべての文書に出てくるので、IDF = log(1) = 0 になる。TF-IDFも0で、文書を区別する役に立たない。
- D
誤り。出現回数(TF)だけを見ている。TF-IDFでは、多くの文書に出る語ほどIDFで重みが下がる。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。