搜索引擎的发展史：从网址簿进化到个人门户

如果说有什么发明拯救了互联网?那一定是搜索引擎，否则互联网中的信息越多，它本身崩溃得越快，因为人们找到自己需要的信息也就越难，使用体验也就越差。搜索的早期形态是啥?搜索经历的多少次变革?未来的搜索引擎将变成怎样?不妨总结一下搜索引擎发展的历史，发现其中的脉络。

其实，搜索的需求——从众多东西(主要是信息)中寻找自己要的，人类一直都有，只不过在IT技术发展之前，所有信息都没有数字化，搜索唯一可行的表现形式是纸质的目录、索引、电话簿。广域网产生以后，搜索的需求存在，但技术没有对应的迅速发展，因此互联网搜索的最早形式是网址簿。具体形式和电话簿、黄页相似，记录很多知名网站网址的一本书，大小视专业程度而定。笔者自己就买过一本普通网民适用的，大小薄厚类似一本新华字典，按网站内容的不同分类。

纸质的有了，网络版的很快跟上。1994年，杨致远创建雅虎，并开始人工搜集各类网站的网址，并将它们按一定规律分类、排序，网民可以只记住雅虎的网址，之后通过雅虎进入各个门类的网站，纸质的网址簿立即变得多余。部分互联网业内人士将雅虎用人工搜集网址并分类呈现的目录式搜索称为第一代搜索引擎，也有部分互联网专家认为雅虎这类做法并不能严格称为搜索引擎，而应算作最早的网址导航。笔者倾向于将其算作搜索实现形式中的一种，甚至包括网址导航也是如此。

但雅虎毕竟只是将纸质目录搬到了互联网网页上，肉眼查找和不同人对网站分类的理解都降低了这类搜索的使用效率。于是根据关键词进行自动查找的功能也被应用进搜索引擎，这其实并不难实现，因为根据关键词进行全文检索的技术甚至早在计算机刚刚被发明的上世纪50年代就已经出现(国内的中文全文检索技术最早被作为748工程的一部分，于80年代后期基本完成，但被广泛应用已经是90年代的事了)。

第一代搜索引擎唯一的问题是，网址仍然由人工收集，效率低、易出错、不全面。于是互联网急需一种替代人工收集网址的技术，而说到替代人工，人们必然会联想到的是机器人，于是第二代搜索引擎所依仗的就是机器人，用程序铸造、组装的游走在互联网中的机器人，现在它被人们熟知的名字是搜索爬虫或者搜索引擎蜘蛛。事实上，这种技术的出现还早于杨致远的雅虎，甚至早于万维网的诞生。

1990蒙特利尔大学学生Alan Emtage发明的Archie。虽然当时World Wide Web还未出现，但网络中文件传输还是相当频繁的，而且由于大量的文件散布在各个分散的FTP主机中，查询起来非常不便，因此Alan Emtage想到了开发一个可以以文件名查找文件的系统，于是便有了Archie。Archie工作原理与现在的搜索引擎已经很接近，它依靠脚本程序自动搜索网上的文件，然后对有关信息进行索引，供使用者以一定的表达式查询。由于Archie深受用户欢迎，受其启发，美国内华达System ComputingServices大学于1993年开发了另一个与之非常相似的搜索工具，不过此时的搜索工具除了索引文件外，已能检索网页。

现在的主流搜索引擎：谷歌、必应、百度等均采用了搜索爬虫抓取、下载网页，以取代人工，这些搜索爬虫每一定天数(例如谷歌是28天)进行一次全互联网的抓取，将所有网页结果下载至自己的服务器，等待再由人们通过输入关键词提起搜索申请。

机器人抓取网页的工作效率明显高于人工，再加上用关键词进行检索，新一代搜索引擎的登场时间理应早于目录式搜索和网址导航才对。但问题在于：互联网中的信息实在太多了，搜索爬虫拿回来的网页，人几乎无法再次进行分类，而仅仅经由关键词进行检索，人们依然要从一团乱麻中肉眼查找自己想要的内容，这个使用体验还不如直接使用目录。

这个问题的解决诞生了现今搜索领域的最强者，也是世界上最伟大的公司之一——谷歌。上世纪90年代后期，就在雅虎取得成功，让人们看到搜索的巨大需求之后，当时在斯坦福大学攻读理工博士的Larry Page 和 Sergey Brin开发出PageRank算法，用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要程度。这项算法基本可以理解为投票，最重要的部分是计算每个网页与其他网页之间链接的多少，链向某个搜索结果的网页越多且权重越高，那么这个搜索结果也就越重要。谷歌用这个办法解决了搜索结果排序的问题，以此取代了目录式的分类，也用搜索爬虫加PageRank的办法取代了雅虎最早提出的搜索引擎解决方案。部分业内人士把谷歌为代表的这一代搜索引擎称为第二代搜索引擎，也有人认为这才是真正意义上的搜索引擎，笔者比较支持前一种说法。

中国的搜索引擎历史基本是直接从第二代搜索引擎开始的，时间是1999年，百度、中搜等老牌搜索引擎厂商从一开始就采用了搜索爬虫和排序算法的组合(当时还有3721提供网址导航服务，但时间与百度、中搜等几乎重合)。与谷歌、雅虎不同，当时的百度、中搜，都主要为门户网站提供搜索技术的后台服务，而没有自己的呈现网站。直到谷歌和雅虎在本世纪初进入中国，百度、中搜以及后来的搜搜、搜狗和再后来的360才开始有了自己的搜索引擎网站。

历史似乎到此结束，但以上说到的最晚时间点距现在还有十年之久，搜素引擎在这十年也并非一成不变。