网站优化
搜索引擎优化网
SEO培训
首页 网站优化 搜索引擎 Google优化 网站运营 SEO教程 SEO培训 论坛  
- 新闻动态 - - 研究探讨 -
用户名 密码 验证码  
  您的位置: 网站优化->搜索引擎-> 搜索引擎算法研究

搜索引擎算法研究

[ 来源: www.seochat.org | 作者: 未知 | 阅读次数: 26198 | 我要投稿]  
 

1.引言

   万维网WWW(World Wide Web)是一个巨大的,分布全球的信息服务中心,正在以飞快的速度扩展。1998年WWW上拥有约3.5亿个文档[14],每天增加约1百万的文档[6],不到9个月的时间文档总数就会翻一番[14]。WEB上的文档和传统的文档比较,有很多新的特点,它们是分布的,异构的,无结构或者半结构的,这就对传统信息检索技术提出了新的挑战。

   传统的WEB搜索引擎大多数是基于关键字匹配的,返回的结果是包含查询项的文档,也有基于目录分类的搜索引擎。这些搜索引擎的结果并不令人满意。有些站点有意提高关键字出现的频率来提高自身在搜索引擎中的重要性,破坏搜索引擎结果的客观性和准确性。另外,有些重要的网页并不包含查询项。搜索引擎的分类目录也不可能把所有的分类考虑全面,并且目录大多靠人工维护,主观性强,费用高,更新速度慢[2]

   最近几年,许多研究者发现,WWW上超链结构是个非常丰富和重要的资源,如果能够充分利用的话,可以极大的提高检索结果的质量。基于这种超链分析的思想,Sergey Brin和Lawrence Page在1998年提出了PageRank算法[1] ,同年J. Kleinberg提出了HITS算法[5],其它一些学者也相继提出了另外的链接分析算法,如SALSA,PHITS,Bayesian等算法。这些算法有的已经在实际的系统中实现和使用,并且取得了良好的效果。

   文章的第2部分按照时间顺序详细剖析了各种链接分析算法,对不同的算法进行了比较。第3部分对这些算法做了评价和总结,指出了存在的问题和改进方向。

 

2.WEB超链分析算法

 

.1 GooglePageRank算法

   搜索引擎Google最初是斯坦福大学的博士研究生Sergey Brin和Lawrence Page实现的一个原型系统[2],现在已经发展成为WWW上最好的搜索引擎之一。Google的体系结构类似于传统的搜索引擎,它与传统的搜索引擎最大的不同处在于对网页进行了基于权威值的排序处理,使最重要的网页出现在结果的最前面。Google通过PageRank元算法计算出网页的PageRank值,从而决定网页在结果集中的出现位置,PageRank值越高的网页,在结果中出现的位置越前。

2.1.1 PageRank算法

    PageRank算法基于下面2个前提:

   前提1:一个网页被多次引用,则它可能是很重要的;一个网页虽然没有被多次引用,但是被重要的网页引用,则它也可能是很重要的;一个网页的重要性被平均的传递到它所引用的网页。这种重要的网页称为权威(Authoritive)网页。

   前提2:假定用户一开始随机的访问网页集合中的一个网页,以后跟随网页的向外链接向前浏览网页,不回退浏览,浏览下一个网页的概率就是被浏览网页的PageRank值。

   简单PageRank算法描述如下:u是一个网页,是u指向的网页集合,是指向u的网页集合,是u指向外的链接数,显然=| | ,c是一个用于规范化的因子(Google通常取0.85),(这种表示法也适用于以后介绍的算法)则u的Rank值计算如下:

   这就是算法的形式化描述,也可以用矩阵来描述此算法,设A为一个方阵,行和列对应网页集的网页。如果网页i有指向网页j的一个链接,则,否则=0。设V是对应网页集的一个向量,有V=cAV,V为A的特征根为c的特征向量。实际上,只需要求出最大特征根的特征向量,就是网页集对应的最终PageRank值,这可以用迭代方法计算。

   如果有2个相互指向的网页a,b,他们不指向其它任何网页,另外有某个网页c,指向a,b中的某一个,比如a,那么在迭代计算中,a,b的rank值不分布出去而不断的累计。如下图:

   为了解决这个问题,Sergey Brin和Lawrence Page改进了算法,引入了衰退因子E(u),E(U)是对应网页集的某一向量,对应rank的初始值,算法改进如下:

其中,=1,对应的矩阵形式为V’=c(AV’+E)。

   另外还有一些特殊的链接,指向的网页没有向外的链接。PageRank计算时,把这种链接首先除去,等计算完以后再加入,这对原来计算出的网页的rank值影响是很小的。

   Pagerank算法除了对搜索结果进行排序外,还可以应用到其它方面,如估算网络流量,向后链接的预测器,为用户导航等[2]

 
共5页: 上一页 1 [2] [3] [4] [5] 下一页
上一篇:2006 Google SandBox效应   下一篇:友情链接搜索
  广告
  最新文章
  · 谷歌曾帮助Twitter抵御攻击(图)
· 谷歌测试新版搜索引擎Caffeine
· 巴茨:雅虎从来都不是搜索引擎
· 艾瑞:第二季中国搜索引擎市场规
· 必应搜索代表微软的未来吗
· 谷歌CEO:没想到谷歌会赚钱
· 微软必应7月美国搜索市场份额上
· 详讯:微软雅虎宣布达成搜索广告
  推荐文章
  · 详讯:微软雅虎宣布达成搜索广告
· 传雅虎正在测试新主页(图)
· 谷歌将允许使用他人品牌作为广告
· 百度薪酬调整疑变相裁员 上千员
· 搜索竞速:百度谷歌鹿死谁手
· 传雅虎拟在巴西推出Meme克隆Twit
· 百度联盟押宝3G:电信业是新增长
· 谷歌并购业务高管暗示有意收购Tw
  热门文章
  · 作弊手法一览
· 搜索引擎三大定律
· 搜索引擎蜘蛛程序
· 搜索引擎技术及趋势
· 搜索引擎基本工作原理
· 搜索引擎垃圾
· 搜索引擎分类
· 搜索引擎发展历史
  最新论坛贴子
  · 机械类企业网站交换链接
· 修改完TITLE,百度关键字排名上
· 如何选择IDC服务商托管租用服务
· 中国福利彩票友情连接!!!
· 中国福利彩票友情连接!!!
· 中国福利彩票友情连接!!!
· seo视频教程
· 怎样选择虚拟主机服务商(59互联
  最新评论    (查看所有评论)

 
  发表评论
  评论内容:不能超过250字,需审核,请自觉遵守互联网相关政策法规。
 
 用户名: 密码: 注册
 
关于我们 - 联系我们 - 友情链接 - SEO培训 - 招贤令 - 网站优化方案 - 优化案例 - 常见问题 - 网站优化 -

Copyright © 2003-2008 搜索引擎优化网 版权所有 , All Rights Reserved

粤ICP备05000946号