业界动态
关键词提取算法-TextRank
2024-11-04 12:49

  今天要介绍的TextRank是一种用来做关键词提取的算法,也可以用于提取短语和自动摘要。因为TextRank是基于PageRank的,所以首先简要介绍下PageRank算法。

关键词提取算法-TextRank

1.PageRank算法

  PageRank设计之初是用于Google的网页排名的,以该公司创办人拉里·佩奇(Larry Page)之姓来命名。Google用它来体现网页的相关性和重要性,在搜索引擎优化操作中是经常被用来评估网页优化的成效因素之一。PageRank通过互联网中的超链接关系来确定一个网页的排名,其公式是通过一种投票的思想来设计的:如果我们要计算网页A的PageRank值(以下简称PR值),那么我们需要知道有哪些网页链接到网页A,也就是要首先得到网页A的入链,然后通过入链给网页A的投票来计算网页A的PR值。这样设计可以保证达到这样一个效果:当某些高质量的网页指向网页A的时候,那么网页A的PR值会因为这些高质量的投票而变大,而网页A被较少网页指向或被一些PR值较低的网页指向的时候,A的PR值也不会很大,这样可以合理地反映一个网页的质量水平。那么根据以上思想,佩奇设计了下面的公式:

该公式中,Vi表示某个网页,Vj表示链接到Vi的网页(即Vi的入链),S(Vi)表示网页Vi的PR值,In(Vi)表示网页Vi的所有入链的集合,Out(Vj)表示网页,d表示阻尼系数,是用来克服这个公式中“d *”后面的部分的固有缺陷用的:如果仅仅有求和的部分,那么该公式将无法处理没有入链的网页的PR值,因为这时,根据该公式这些网页的PR值为0,但实际情况却不是这样,所有加入了一个阻尼系数来确保每个网页都有一个大于0的PR值,根据实验的结果,在0.85的阻尼系数下,大约100多次迭代PR值就能收敛到一个稳定的值,而当阻尼系数接近1时,需要的迭代次数会陡然增加很多,且排序不稳定。公式中S(Vj)前面的分数指的是Vj所有出链指向的网页应该平分Vj的PR值,这样才算是把自己的票分给了自己链接到的网页。

 2.1 TextRank算法提取关键词

  TextRank是由PageRank改进而来,其公式有颇多相似之处,这里给出TextRank的公式:

可以看出,该公式仅仅比PageRank多了一个权重项Wji,用来表示两个节点之间的边连接有不同的重要程度。TextRank用于关键词提取的算法如下:

  1)把给定的文本T按照完整句子进行分割,即

  3)构建候选关键词图G = (V,E),其中V为节点集,由(2)生成的候选关键词组成,然后采用共现关系(co-occurrence)构造任两点之间的边,两个节点之间存在边仅当它们对应的词汇在长度为K的窗口中共现,K表示窗口大小,即最多共现K个单词。

  4)根据上面公式,迭代传播各节点的权重,直至收敛。

  5)对节点权重进行倒序排序,从而得到最重要的T个单词,作为候选关键词。

  6)由5得到最重要的T个单词,在原始文本中进行标记,若形成相邻词组,则组合成多词关键词。

2.2 TextRank算法提取关键词短语

  提取关键词短语的方法基于关键词提取,可以简单认为:如果提取出的若干关键词在文本中相邻,那么构成一个被提取的关键短语。

2.3TextRank生成摘要

  将文本中的每个句子分别看做一个节点,如果两个句子有相似性,那么认为这两个句子对应的节点之间存在一条无向有权边。考察句子相似度的方法是下面这个公式:

公式中,Si,Sj分别表示两个句子,Wk表示句子中的词,那么分子部分的意思是同时出现在两个句子中的同一个词的个数,分母是对句子中词的个数求对数之和。分母这样设计可以遏制较长的句子在相似度计算上的优势。

    以上就是本篇文章【关键词提取算法-TextRank】的全部内容了,欢迎阅览 ! 文章地址:http://sicmodule.glev.cn/news/9071.html 
     资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 歌乐夫资讯移动站 http://sicmodule.glev.cn/mobile/ , 查看更多   
最新新闻
行政管理专业大学排名_行政管理专业学什么_就业前景怎么样?
序号学校代码学校名称评选结果110002中国人民大学A+210003清华大学A+310001北京大学A410307南京农业大学A510335浙江大学A610486
15大“未来”行业热门专业介绍,十个工科专业推荐!读研后薪资飞涨的9大专业!
今年,工信部等七部门联合发布《关于推动未来产业创新发展的实施意见》,提出:要面向未来信息、未来健康、未来制造、未来能源、
马云预言未来十大行业_未来最有前景的职业
马云作为成功的企业家、先行者,所说未来的热门赚钱行业有过很多预测性的发言都被验证了,小编相信有很多的者都在电视上看过马云
2024十大就业前景好的专业排名 读什么专业好就业
高中频道2024-06-05 19:402024年就业率最高的十大专业包括:人工智能与机器学习专业、能源与动力工程专业、机械工程专业、微电子
这个国家很脆弱,入境时不仅食物要申报,连鞋底的土都要仔细检查
“黑夜给了我一双黑色的眼睛,我却用它寻找光明。”——顾城 中国朦胧派诗人顾城,在1988年携妻子隐居于新西兰激流岛,在这个小
最适合女生的八大专业,学出来既有价值又有颜值!
现代社会提倡女性独立,区别于过去的女性。她们不靠男人养活,自己有赚钱养家的能力。很多女生都把职业放在第一,毕竟经济基础决
2024年选什么专业?速来看看20大“未来”行业热门专业推荐,发展前景大好!
易升学小易老师提醒:在未来国家将重点关注对相关专业的建设工作,相关专业未来发展会大有前途,值得考生和家长关注!PART.01未
设计类前景最好的十大专业排名!
设计师这一经久不衰的岗位当前早已成为不少同学心目中首要的职业选择,因此在志愿填报时很多同学都有着填报设计类专业的想法,那
初三学生如何一个月逆袭学霸?
2022-01-18 20:47:06文/刘美娟学渣如何三十天变学霸?学渣是学习不好的人,但一定不是学不好的人,用一个月从一个学渣逆袭成一个
中国认可的日本大学?
中国人去日本留学或者工作,需要了解日本认可的大学。那么,有哪些日本大学是中国认可的呢?首先要了解的是,中国认可的日本大学