百度搜索引擎原理简单分析图

先上图来简单看下搜索引擎的“三板斧”：数据搜集—>预处理【索引】—>排名。

　　数据搜集

　　即数据的搜集阶段，将网页从浩如瀚海的互联网世界搜集到自己的数据库中进行存储。

　　1、抓取维护策略

　　面对大量需要处理的数据，很多问题需要事先考虑好。比如是“即时抓取”数据还是“事先抓取”？在对数据进行维护时是“定期抓取”（定期一次深度大抓取，替代原有的数据）还是“增量抓取”（以原有数据为根基，进行新旧交替）？

　　2、链接跟踪

　　我们都知道，蜘蛛是顺着链接爬行和抓取页面的。如何快速抓取到对用户来说相对重要的信息以及达到广阔的覆盖无疑是搜索引擎需要重点考虑的问题。

　　先来说第一个，怎么抓取到重要的信息。

　　想要知道这个，首页要明白人们是怎么样主观去判断一个页面是否重要的（自己先思考下）。其实无外乎以下几种情况：

　　网页有历史权重积累（域名等时间较长、质量高、资格老）、很多人会提到这个页面（外链指向）、很多人会引用这个页面（转载或者镜像）、这个页面便于用户快速浏览（层级较浅）、经常有新的内容出现（更新）等等。

　　而在链接跟踪阶段，其实能得到的信息只有“这个页面便于用户快速浏览（层级较浅）”，其它信息还未获取。

　　对于信息的覆盖，其实就是蜘蛛在跟踪链接时的两个策略：深度抓取与广度抓取。

　　用屁股想一下也知道，广度抓取有助于获取到更多的信息，深度抓取有助于得到更全面的信息。搜索引擎蜘蛛在抓取数据时，通常会两种方式都采用，但是相比较来说，广度抓取要多于深度抓取。

　　3、地址库

　　搜索引擎在建立初期，必须是要有一个人工录入的种子库的，否则蜘蛛将会在进行连接跟踪时无从下手。顺着这些种子库，蜘蛛可以发现更多的链接。

　　当然，多个搜索引擎都会放出一个页面的提交入口，以便于站长将站点进行提交。

　　不过值得一提的是，搜索引擎更喜欢自己发现的链接。