网络爬虫技术交流——爬虫第一课

垂直型爬虫及爬取步骤

•垂直型爬虫关注特定主题内容或者属于特定行业的网页或者指定的网站和内容
•url-crawling(链接抓取页面) ：确定抓取页面相关信息
•info-crawling(信息抓取) ：爬虫抓取信息
•format&fusion(规整与聚合) ：对所抓信息进行清洗

 爬虫常用工具

1、wireshark：强大的网络协议录制查看软件，用于分析爬虫请求过程中的交互数据
2、httpwatch：浏览器插件，记录浏览器中的http请求
3、fiddler：单独软件，记录并检查所有你的电脑和互联网之间的http通讯
4、RegexBuddy：正则式验证处理工具（RegexTester）
5、firebug：浏览器自带开发者工具，如Chrome可按F12，监控浏览器请求

开发爬虫常用方法

 使用webbrowser控件加载网页，用MSHTML来操控整个网页，进行模拟操作数据（selenium，casperjs，nodejs,htmlunit等）。

 优点：开发起来比较简单。

 缺点:  由于需要加载整个页面，缺点是速度慢、效率不高，内存占用大，难以做成多线程并发。

•2.基于Http请求

 使用Http协议，分析页面的 Get/Post动作 (HttpClient ,Jsoup, HttpUtil 等)

 优点：速度快，效率搞，内存占用小，容易做成多线程并发。

 缺点:  开发难度大，需要详细的分析页面的css、js、COOKIE等等。

•3.基于浏览器内核开发（高手中的高手才用）

 使用浏览器内核开发，推荐使用Webkit

 优点:  这种方式比较灵活，可以根据自己的需求添加功能

 缺点:  对程序员要求比较搞，需要掌握很多基础知识，以及了解浏览器内核，需要看大量的英文文档