良好的网络爬虫架构

一个设计良好的爬虫架构必须满足如下的要求：                   （1）分布式：爬虫应该能够在多台机器上分布执行；                          （2）可伸缩性：爬虫结构应该能够通过增加额外的机器和带宽来提高抓取速度；                          （3）性能和有效性：爬虫系统必须有效地使用各种系统资源，例如，处理器、存储空间和网络带宽。                          （4）质量：鉴于互联网的发展速度，大部分网页都不可能及时出现在用户查询中，所以爬虫应该首先抓区有用的网页。                          （5）新鲜性：在许多应用中，爬虫应该持续运行而不是只遍历一次。                          （6）更新：因为网页会经常更新，例如论坛网站会经常有回帖。爬虫应该尽可能取得已经获取的页面的新的拷贝。例如一个搜索引擎爬虫要能保证全文索引中包含每个索引页面的较新的状态。对于搜索引擎爬虫这样的连续的抓取，爬虫访问一个页面的频率应该和这个网页的更新频率一致。                          （7）可扩展性：为了能够支持新的数据格式和新的抓取协议，爬虫架构应该设计成模块化的形式。