python爬虫性能_讨论如何爬虫性能

如果单纯是性能的话&＃xff0c;应该考虑几个方面

1.http 请求尽量采用 pool 的方式保持会话

2.尽可能避免重复 url 和重复页面的抓取

3.不要使用单一磁盘存储&＃xff0c;尽可能用一些 Nosql 数据库或内存高速缓存(例如&＃xff1a; redis/memcache )

4.降低存储部分冗余&＃xff0c;提高存储效率&＃xff0c;比如去除空格之类的&＃xff0c;如果是二进制文件可以采用一些算法进行压缩存储

5.ajax 类型网站和 flash 网站&＃xff0c; Parser 和 download 一定要分开&＃xff0c; ajax 类网站的话可能需要考虑一下内存问题&＃xff0c;如果使用 phantomjs 如果有可能最好能用 v8 去代替 jscore (过程十分的艰难&＃xff0c;不要轻易尝试), 并且禁用安全检测&＃xff0c;使用磁盘缓存(硬件方面能使用 ssd 最好了)

6.使用更快速的 dns 服务器&＃xff0c;爬虫尽可能去缓存 dns 地址

7.多台机器性能一定高于单台机器

8.在条件允许的情况下用 pypy 代替 cpython 会更好

一些抓取遇到的反制问题

1.由于抓取频率过快&＃xff0c;会被服务器认为是 ddos 攻击或爬虫抓取(有时候确实会让服务器宕机)

解决方案&＃xff1a;使用代理进行绕过&＃xff0c;并实现一些智能算法使爬虫更像人类(例如&＃xff1a;一旦被 ban 掉自动切换代理&＃xff0c;并减缓抓取速度&＃xff0c;如果一定时间内没有被 ban 掉&＃xff0c;则提高抓取速度&＃xff0c;这样能自适应一个网站能承受的最大速度)

2.遇到验证码

解决方案&＃xff1a;简单的验证码通过 hash 感知和一些简单的字模型匹配就能够解决&＃xff0c;复杂验证码例如&＃xff1a; recapture 这类可以靠人工去识别(有这种打码平台)&＃xff0c;如果是第二代验证码基于坐标位置的这类目前暂无解决办法

3.操作需要登录

解决方法&＃xff1a;自己注册或购买账号&＃xff0c;但是仍然可能可能会遇到问题 2 &＃xff0c;所以不继续说了&＃xff0c;需要注意的是&＃xff0c;某一些网站会通过一些特定元素的请求判断是是否是真实的登录&＃xff0c;如果没有请求是无法成功的

4.异地登录需要验证

1.这种呢&＃xff0c;能透露的就是尽可能不要异地登录&＃xff0c;其它一些歪门邪道的方法不好说