网络爬虫的规范与限制

2.1 网络爬虫引发的问题

图 网络爬虫的影响范围

网络爬虫在获取信息方面发挥了重要作用，但也带来了一系列问题：

1. **来源审查**：通过User-Agent进行限制

• 检查HTTP请求头中的User-Agent字段，仅允许来自浏览器或友好爬虫的访问。

2. **发布公告**：使用Robots协议

• 在网站根目录下创建robots.txt文件，告知爬虫哪些页面可以抓取，哪些不能。

2.2 Robots协议详解

Robots Exclusion Standard（网络爬虫排除标准）是一种用于控制网络爬虫行为的协议。

**作用**：网站通过robots.txt文件告知网络爬虫哪些页面可以抓取，哪些不可以。

**形式**：在网站根目录下的robots.txt文件。

**例子**：京东的Robots协议

https://www.jd.com/robots.txt

User-agent: * 
Disallow: /?* 
Disallow: /pop/*.html 
Disallow: /pinpai/*.html?* 
User-agent: EtaoSpider 
Disallow: / 
User-agent: HuihuiSpider 
Disallow: / 
User-agent: GwdangSpider 
Disallow: / 
User-agent: WochachaSpider 
Disallow: /

其他网站的Robots协议示例：

http://www.baidu.com/robots.txt

http://www.sina.com.cn/robots.txt

http://news.sina.com.cn/robots.txt

http://www.qq.com/robots.txt

http://news.qq.com/robots.txt

http://www.sdju.edu.cn/robots.txt（无robots协议）

**Robots协议的使用**：

1. **网络爬虫**：自动或人工识别robots.txt文件，根据其内容进行内容爬取。

2. **约束性**：Robots协议是建议性的而非强制性的，虽然网络爬虫可以选择不遵守，但这可能带来法律风险。

网络爬虫的合理使用不仅需要技术上的支持，还需要遵守相关法律法规，确保信息获取的合法性和伦理性。