データ資格 模擬試験

DS検定 模擬試験 第5回 問23・データサイエンス(非構造化データ処理(テキスト・画像・音声))

TF-IDFで重い語

K社は家電の問い合わせ文書1,000件をTF-IDFで分析している。ある文書Xには「です」「返品」「液漏れ」がそれぞれ3回ずつ出てくる。1,000件のうち、これらの語を含む文書の数は、「です」が1,000件、「返品」が200件、「液漏れ」が10件である。IDF = log(全文書数 ÷ その語を含む文書数) とするとき、文書XでTF-IDFの値が最も大きい語を1つ選べ。

  1. A

    返品

  2. B

    液漏れ

  3. C

    です

  4. D

    3語とも同じ値になる

正解と解説を見る

正解:B

TF-IDFは、その文書でよく出て(TF)、他の文書ではあまり出ない(IDF)語に大きな重みを与える。全文書に出る語はIDFが0になる。

学習のポイント:出現回数が同じなら、珍しい語ほど重くなる。ストップワードを除くのと似た効果が自動で得られる。

この問題を演習で解く →

DS検定のトップへ 問題一覧へ

このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。