TF-IDFが高くなる語
K社のコールセンターでは、問い合わせ記録1,000件から、記録ごとの特徴を表す語をTF-IDFで抜き出したい。ある1件の記録の中でTF-IDFの値が高くなりやすい語として、最も適切なものを1つ選べ。
- A
1,000件全体を通じて、出現回数の合計が最も多い語
- B
その記録で何度も出てきて、ほぼすべての記録にも出る語
- C
その記録では1回だけ出てきて、全記録の半数にも出る語
- D
その記録で何度も出てきて、ほかの記録にはほとんど出ない語
正解と解説を見る
正解:D
TF-IDFは「その文書でよく出るか(TF)」と「ほかの文書では珍しいか(IDF)」を掛け合わせた値で、文書に固有の語ほど高くなる。どの文書にも出る一般的な語は、出現回数が多くても値が小さくなる。
- A
誤り。全体での出現回数が多い語は多くの文書に出ることが多く、IDFが低くなりやすい。全体の頻度だけでは記録ごとの特徴はわからない。
- B
誤り。ほぼすべての文書に出る語はIDFが0に近くなり、TFが高くてもTF-IDFは小さくなる。
- C
誤り。TFが低いうえに、多くの文書に出るのでIDFも高くない。特徴語にはなりにくい。
- D
正しい。TF(その文書での出現頻度)が高く、IDF(出現する文書が少ないほど大きい値)も高いので、積が大きくなる。
このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。