利用scrapy集成社区爬虫功能

序

社区活跃度或者贡献越来越受到重视，往往会作为获得工作或者承接项目的加分项。为了方便用户展示自己的社区资料，雨点儿网中增加了一个社区爬虫功能。

当前只爬取了用户主页上一些简单的信息，如果有需求请提到我们的项目议题中

效果如下：

功能实现

代码放在了github上，源码

如图所示，在之前的架构上(http://segmentfault.com/a/1190000003808733)，我增加了橙色虚线框内的部分，包括：

• scrapyd：一个用于运行爬虫任务的webservice

• spiders：使用scrapy框架实现的爬虫

• mongo：存放爬取的数据

使用scrapy框架

scrapy是一个python爬虫框架，想要快速实现爬虫推荐使用这个。

可以参考如下资料自行学习：

1. 官方文档和官方例子

2. 一个简单明了的入门博客，注意：博客中scrapy的安装步骤可以简化，直接使用 pip install scrapy，安装过程中可能会缺少几个lib，ubuntu使用 apt-get install libffi-dev libxml2-dev libxslt1-dev -y

使用mongodb存储数据

mongo非常适合存储爬虫数据，支持异构数据。这意味着你可以随时改变爬虫策略抓取不同的数据，而不用担心会和以前的数据冲突（使用sql就需要蛋疼的修改表结构了）。

通过scrapy的pipline来集成mongo，非常方便。

安装mongo

apt-get install mongodb
pip install pymongo

使用xpath提取页面数据

在编写爬虫的过程中需要使用xpath表达式来提取页面数据，在chrome中可以使用XPath Helper来定位元素，非常方便。使用方法：

1. 打开XPath Helper插件

2. 鼠标点击一下页面，按住shift键，把鼠标移动到需要选取的元素上，插件会将该元素标记为黄色，并给出对应的xpath表达式，如下图：
   

3. 在爬虫程序中使用这个表达式selector.xpath(..../text()").extract()

使用scrapyd把爬虫集成到系统中

编写好爬虫后，我门可以通过执行scrapy crawl spidername命令来运行爬虫程序，但这还不够。

通常我们通过手动或者定时任务(cron)来执行爬虫，而这里我们需要通过web应用来触发爬虫。即，当用户更新绑定的社交账号时，去执行一次爬虫。来分析一下：

1. 爬虫执行过程中会阻塞当前进程，为了不阻塞用户请求，必须通过异步的方式来运行爬虫。

2. 可能有多个用户同时更新资料，这就要求能够同时执行多个爬虫，并且要保证系统不会超载。

3. 可以扩展成分布式的爬虫。

方案1：使用celery运行爬虫

鉴于项目当前的架构，准备使用celery来执行异步爬虫。但是碰到了两个问题：

1. scrapy框架下，需要在scrapy目录下执行爬虫，否则无法获取到settings，这个用起来有点别扭，不过还能解决。

2. celery中反复运行scrapy的爬虫会报错：raise error.ReactorNotRestartable()。原因是scrapy用的twisted调度框架，不可以在进程中重启。

stackoverflow上有讨论过这个问题，尝试了一下，搞不定，放弃这个方案。如果你有解决这个问题的方法，期待分享:)

方案2：使用scrapyd

scrapy文档中提到了可以使用scrapyd来部署，scrapyd是一个用于运行scrapy爬虫的webservice，使用者能够通过http请求来运行爬虫。

你只需要使用scrapyd-client将爬虫发布到scrapyd中，然后通过如下命令就可以运行爬虫程序。

$ curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider2
{"status": "ok", "jobid": "26d1b1a6d6f111e0be5c001e648c57f8"}

这意味什么：

1. 爬虫应用和自己的web应用完全解耦，只有一个http接口。

2. 由于使用http接口，爬虫可以放在任何能够被访问的主机上运行。一个简易的分布式爬虫，不是吗？

3. scrapyd使用sqlite队列来保存爬虫任务，实现异步执行。

4. scrapyd可以同时执行多个爬虫，最大进程数可配，防止系统过载。

尾

欢迎使用我们的爬虫功能来收集社交资料。

使用方法

1. 成为雨点儿网用户，进入用户主页，点击编辑按钮
   

2. 填写社交账号，点击更新按钮
   

3. 爬虫会在几秒内完成工作，刷新个人主页就能看到你的社区资料了，你也可以把个人主页链接附在电子简历中哟:)