python爬取数据的原理_python学习之python爬虫原理

原标题&＃xff1a;python学习之python爬虫原理

今天我们要向大家详细解说python爬虫原理&＃xff0c;什么是python爬虫&＃xff0c;python爬虫工作的基本流程是什么等内容&＃xff0c;希望对这正在进行python爬虫学习的同学有所帮助!

前言

简单来说互联网是由一个个站点和网络设备组成的大网&＃xff0c;我们通过浏览器访问站点&＃xff0c;站点把HTML、JS、CSS代码返回给浏览器&＃xff0c;这些代码经过浏览器解析、渲染&＃xff0c;将丰富多彩的网页呈现我们眼前;

一、爬虫是什么?

如果我们把互联网比作一张大的蜘蛛网&＃xff0c;数据便是存放于蜘蛛网的各个节点&＃xff0c;而爬虫就是一只小蜘蛛&＃xff0c;

沿着网络抓取自己的猎物(数据)爬虫指的是&＃xff1a;向网站发起请求&＃xff0c;获取资源后分析并提取有用数据的程序;

从技术层面来说就是 通过程序模拟浏览器请求站点的行为&＃xff0c;把站点返回的HTML代码/JSON数据/二进制数据(图片、视频) 爬到本地&＃xff0c;进而提取自己需要的数据&＃xff0c;存放起来使用;

在学习python中有任何困难不懂的可以加入我的python交流学习QQ群&＃xff1a;629614370多多交流问题&＃xff0c;互帮互助&＃xff0c;群里有不错的学习教程和开发工具。学习python有任何问题&＃xff08;学习方法&＃xff0c;学习效率&＃xff0c;如何就业&＃xff09;&＃xff0c;可以随时来咨询我。

二、爬虫的基本流程&＃xff1a;

用户获取网络数据的方式&＃xff1a;

方式1&＃xff1a;浏览器提交请求--->下载网页代码--->解析成页面

方式2&＃xff1a;模拟浏览器发送请求(获取网页代码)->提取有用的数据->存放于数据库或文件中

爬虫要做的就是方式2;

1、发起请求

使用http库向目标站点发起请求&＃xff0c;即发送一个Request

Request包含&＃xff1a;请求头、请求体等

Request模块缺陷&＃xff1a;不能执行JS 和CSS 代码

2、获取响应内容

如果服务器能正常响应&＃xff0c;则会得到一个Response

Response包含&＃xff1a;html&＃xff0c;json&＃xff0c;图片&＃xff0c;视频等

3、解析内容

解析html数据&＃xff1a;正则表达式(RE模块)&＃xff0c;第三方解析库如Beautifulsoup&＃xff0c;pyquery等

解析json数据&＃xff1a;json模块

解析二进制数据:以wb的方式写入文件

4、保存数据

数据库(MySQL&＃xff0c;Mongdb、Redis)

文件

三、http协议 请求与响应

Request&＃xff1a;用户将自己的信息通过浏览器(socket client)发送给服务器(socketserver)

Response&＃xff1a;服务器接收请求&＃xff0c;分析用户发来的请求信息&＃xff0c;然后返回数据(返回的数据中可能包含其他链接&＃xff0c;如&＃xff1a;图片&＃xff0c;js&＃xff0c;css等)

ps&＃xff1a;浏览器在接收Response后&＃xff0c;会解析其内容来显示给用户&＃xff0c;而爬虫程序在模拟浏览器发送请求然后接收Response后&＃xff0c;是要提取其中的有用数据。

四、 request

1、请求方式&＃xff1a;

常见的请求方式&＃xff1a;GET / POST

2、请求的URL

url全球统一资源定位符&＃xff0c;用来定义互联网上一个唯一的资源 例如&＃xff1a;一张图片、一个文件、一段视频都可以用url唯一确定

url编码

https://www.baidu.com/s?wd&＃61;图片

图片会被编码(看示例代码)

网页的加载过程是&＃xff1a;

加载一个网页&＃xff0c;通常都是先加载document文档&＃xff0c;

在解析document文档的时候&＃xff0c;遇到链接&＃xff0c;则针对超链接发起下载图片的请求

3、请求头

User-agent&＃xff1a;请求头中如果没有user-agent客户端配置&＃xff0c;服务端可能将你当做一个非法用户host;

COOKIEs&＃xff1a;COOKIE用来保存登录信息

注意&＃xff1a; 一般做爬虫都会加上请求头

请求头需要注意的参数&＃xff1a;

(1)Referrer&＃xff1a;访问源至哪里来(一些大型网站&＃xff0c;会通过Referrer 做防盗链策略;所有爬虫也要注意模拟)

(2)User-Agent:访问的浏览器(要加上否则会被当成爬虫程序)

(3)COOKIE&＃xff1a;请求头注意携带

4、请求体

请求体

如果是get方式&＃xff0c;请求体没有内容 (get请求的请求体放在 url后面参数中&＃xff0c;直接能看到)

如果是post方式&＃xff0c;请求体是format data

ps&＃xff1a;

1、登录窗口&＃xff0c;文件上传等&＃xff0c;信息都会被附加到请求体内

2、登录&＃xff0c;输入错误的用户名密码&＃xff0c;然后提交&＃xff0c;就可以看到post&＃xff0c;正确登录后页面通常会跳转&＃xff0c;无法捕捉到post

五、 响应Response

1、响应状态码

200&＃xff1a;代表成功

301&＃xff1a;代表跳转

404&＃xff1a;文件不存在

403&＃xff1a;无权限访问

502&＃xff1a;服务器错误

2、respone header

响应头需要注意的参数&＃xff1a;

(1)Set-COOKIE:BDSVRTM&＃61;0; path&＃61;/&＃xff1a;可能有多个&＃xff0c;是来告诉浏览器&＃xff0c;把COOKIE保存下来

(2)Content-Location&＃xff1a;服务端响应头中包含Location返回浏览器之后&＃xff0c;浏览器就会重新访问另一个页面

3、preview就是网页源代码

JSO数据

如网页html&＃xff0c;图片

二进制数据等

六、总结

1、总结爬虫流程&＃xff1a;

爬取--->解析--->存储

2、爬虫所需工具&＃xff1a;

请求库&＃xff1a;requests,selenium(可以驱动浏览器解析渲染CSS和JS&＃xff0c;但有性能劣势(有用没用的网页都会加载);)

解析库&＃xff1a;正则&＃xff0c;beautifulsoup&＃xff0c;pyquery

存储库&＃xff1a;文件&＃xff0c;MySQL&＃xff0c;Mongodb&＃xff0c;Redis

感谢您的阅读&＃xff0c;以上就是对python爬虫原理的一些介绍返回搜狐&＃xff0c;查看更多

责任编辑&＃xff1a;