データ資格 模擬試験

DS検定 模擬試験 第2回 問25・データサイエンス(非構造化データ処理(テキスト・画像・音声))

TF-IDFで重みが高い語

L市は、住民からの問い合わせ文書1,000件をTF-IDFで分析している。ある1件の文書に含まれる語について、その文書での出現回数と、1,000件のうちその語を含む文書の数を下表に示す。TF-IDFは「その文書での出現回数 × log10(全文書数 ÷ その語を含む文書数)」で計算する。この文書でTF-IDFが最も大きい語を1つ選べ。

  1. A

    粗大

  2. B

    市

  3. C

    ごみ

  4. D

    です

正解と解説を見る

正解:A

TF-IDFは、その文書での出現頻度(TF)と、他の文書での珍しさ(IDF)の積である。どの文書にも出る語は、出現回数が多くても重みが小さくなる。

語この文書での出現回数その語を含む文書数(全1,000件中)
市81,000
ごみ3200
粗大320
です10990

学習のポイント:全文書に出る語はIDFが0になり、TF-IDFも0になる点がひっかけになりやすい。

この問題を演習で解く →

DS検定のトップへ 問題一覧へ

このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。