nodejs实现爬虫

  由于一些原因&＃xff0c;我们想要获取某个网站的数据。我们可以通过nodejs爬虫拿到我们希望的数据。要完成一个爬虫&＃xff0c;主要的步骤分为&＃xff1a;

抓取

  爬虫&＃xff0c;最重要的步骤就是如何把想要的页面抓取回来。并且能够兼顾时间效率&＃xff0c;能够并发的爬取多个页面。想要获取目标内容&＃xff0c;需要我们分析页面结构。

  1、使用nodejs的request模块&＃xff0c;获取目标页面的html代码。

  2、使用cheerio模块对html模块做处理&＃xff0c;拿到需要的数据。

存储

  获取到有价值的数据后&＃xff0c;为了方便我们的使用可以把数据保存下。可以转换成json文件或者直接存入数据库。

具体实现

1、初始化一个项目&＃xff1a;

$ npm init

2、安装依赖模块&＃xff1a;

$ npm install express request cheerio --save

express用来搭建node服务&＃xff1b;

request类似于ajax的方式获取一个url里面的html代码&＃xff1b;

cheerio类似于jquery那样对所获取的html代码进行处理。

3、根目录创建一个spider.js

var express &＃61; require(&＃39;express&＃39;),app &＃61; express(),request &＃61; require(&＃39;request&＃39;),cheerio &＃61; require(&＃39;cheerio&＃39;), fs &＃61; require(&＃39;fs&＃39;);var fetchData &＃61; [];
function fetchBrand(){ request(&＃39;http://waimai.baidu.com/waimai/shop/1434741117&＃39;, function(err, res, body) {if (err || res.statusCode !&＃61; 200) {console.log(err);console.log(&＃39;爬取失败&＃39;); return false;} var $ &＃61; cheerio.load(body, { decodeEntities: false });//解决了乱码的问题var curBrands &＃61; $(&＃39;.list-wrap&＃39;);for(var i &＃61; 0;i var obj &＃61; {name: curBrands.eq(i).find(&＃39;.list-status .title&＃39;).text(), sub: []} fetchData.push(obj);var curSeries &＃61; curBrands.eq(i).find(&＃39;.list-item&＃39;);for (var j &＃61; 0;j var obj &＃61; {imgpath:curSeries.eq(j).find(&＃39;.bg-img&＃39;).attr(&＃39;style&＃39;).substring(curSeries.eq(j).find(&＃39;.bg-img&＃39;).attr(&＃39;style&＃39;).indexOf(&＃39;http&＃39;), curSeries.eq(j).find(&＃39;.bg-img&＃39;).attr(&＃39;style&＃39;).indexOf(&＃39;)&＃39;)),name: curSeries.eq(j).find(&＃39;h3&＃39;).text(), recommend: curSeries.eq(j).find(&＃39;.divider&＃39;).prev().text(),sale: curSeries.eq(j).find(&＃39;.divider&＃39;).next().text(),stock: curSeries.eq(j).find(&＃39;.stock-count&＃39;).text(),saPrice: curSeries.eq(j).find(&＃39;span strong&＃39;).text(),orPrice: curSeries.eq(j).find(&＃39;del strong&＃39;).text()}fetchData[fetchData.length - 1].sub.push(obj); } }var t &＃61; JSON.stringify(fetchData);fs.writeFileSync(&＃39;baiduData.json&＃39;, t);})
}fetchBrand();

4、运行spider.js文件

$ node spider.js

  控制台会输出抓取成功。这个时候你会发现文件夹里多了一个名为baiduData.json的json文件。