python3.6爬虫库_python3.6之抓取LaGou网爬虫职位详解

目标&＃xff1a;抓取LaGou网爬虫职位&＃xff0c;下载于数据库MongoDB&＃xff0c;并可视化于pycharm。

我们采用&＃xff1a;requests(获取)——MongoDB——PyCharm可视化

废话不多说&＃xff0c;先上结果与代码&＃xff1a;

前言&＃xff1a;

①&＃xff1a;安装PyMongo(pip install pymongo)&＃xff0c;这是Python操作MongoDB的驱动程序

②&＃xff1a;抓取页面&＃xff0c;如图

现重点讲解代码四个部分&＃xff1a;

一&＃xff1a;MongoDB

这将建立连接到默认主机(localhost)和端口(27017)

mongodb的详细功用可前往官网

二&＃xff1a;真实的urls

异步加载中&＃xff0c;真实的url并非https://www.lagou.com/jobs/list_%E7%88%AC%E8%99%AB?labelWords&＃61;&fromSearch&＃61;true&suginput&＃61;&＃xff0c;真正的url需要我们通过抓包获取&＃xff0c;流程如图&＃xff1a;

所以我们得出真实url&＃xff1a;https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult&＃61;false&isSchoolJob&＃61;0

三&＃xff1a;请求方法post (之前的文章都是get)

通过抓包我们可以看出拉钩网的请求方法是post&＃xff0c;所以我们要加入请求表单form_data

四&＃xff1a;请求头(headers)

每个网站的请求头都会不一样&＃xff0c;但爬取的网站&＃xff0c;都有例子&＃xff0c;大家初期&＃xff0c;跟着选就行&＃xff0c;如图&＃xff1a;

大家可以对比下我第四篇知乎的请求头

总结&＃xff1a;

数据库是学习Python爬虫的必经之路&＃xff0c;大家记得安装哦

MongoDB、pycharm可视化的安装&＃xff0c;我都会在知乎上发表

下一篇文章&＃xff0c;将学习使用函数实现LaGou翻页

有不清楚的地方&＃xff0c;大家可以留言&＃xff0c;点赞&＃xff0c;我看到了&＃xff0c;会第一时间回复你

近来考试与课程设计&＃xff0c;很久没有更新&＃xff0c;还望大家谅解

本系列文章同步跟新于微信公众号&＃xff1a;工科男雷先生。知乎&＃xff1a;雷之