データ資格 模擬試験

DS検定 模擬試験 第3回 問26・データサイエンス(非構造化データ処理(テキスト・画像・音声))

TF-IDFによる語の重み

K社は問い合わせ文1,000件から特徴語を取り出すため、TF-IDFを使う。TF = 文書内のその語の出現回数 ÷ 文書の総語数、IDF = log10(全文書数 ÷ その語を含む文書数)、TF-IDF = TF × IDF とする。ある文書は総語数が100語で、「返品」が3回出てくる。「返品」を含む文書は1,000件中10件である。この文書における「返品」のTF-IDFとして、正しいものを1つ選べ。

  1. A

    6

  2. B

    0.03

  3. C

    0.09

  4. D

    0.06

正解と解説を見る

正解:D

TF-IDFは、文書内でよく出てきて、ほかの文書には少ない語ほど大きくなる。「返品」のTF-IDFは 0.03 × 2 = 0.06 である。全文書に出てくる語は IDF = log10(1) = 0 となり、重みが0になる。

学習のポイント:IDFは「含む文書数」で割ってから対数を取る。珍しい語ほどIDFは大きくなる。

この問題を演習で解く →

DS検定のトップへ 問題一覧へ

このサイトの問題は、各試験の公開されている出題範囲に沿って作ったオリジナルの模擬問題です。本試験の問題ではありません。一般社団法人データサイエンティスト協会・一般財団法人統計質保証推進協会の公式サービスではありません。