TF-IDF与TextRank关键词抽取算法

author：张一极
date：2022年11月18日22:31:24

TF-IDF

1.计算词频

\begin{matrix} (1) & 词 频 = \frac{某 个 词 汇 在 语 料 中 出 现 的 次 数}{语 料 总 词 数} \end{matrix}

2.计算反文档频率

\begin{matrix} (2) & I D F = l o g (\frac{语 料 库 文 档 总 数}{包 括 该 词 汇 的 文 档 数 + 1}), 加 一 为 了 分 母 不 为 0 \end{matrix}

3.得出TF-IDF

\begin{matrix} (3) & T F - I D F = T F \cdot I D F \end{matrix}

性质：与词汇出现频率成正比，与语料单位出现次数成反比

topk个关键词：计算所有词汇的tfidf值，降序排列，取topK

缺点：没考虑语序

TextRank

定义了一个无向有权图，对句子首先进行分词，遍历分词结果，过滤掉停用词，将这些词的前后 j 个词放入共现字典，例如:

「词 1 共词 2:n」代表词 1 和词 2 共同出现 n 次，将词 1 和词 2 共同出现的次数作为边的权重，加入无向有权图，再次遍历这个图，将所有结点的入度计算总和，再计算出度总和，最后乘上一个阻尼系数，就可以得到一个关于共现字典的各个 key 出现频率的 Topk 个最高频组合，共现最多的即为topk个关键词。