Python爬虫_HTTP标准

简介

HTTP协议&＃xff08;超文本传输协议&＃xff09;是用于从WWW服务器传输超文本到本地浏览器的传送协议。它可以使浏览器更加高效&＃xff0c;减少网络传输。它不仅保证计算机正确快速地传输超文本文档&＃xff0c;还确定传输文档中的哪一部分&＃xff0c;以及哪部分内容首先显示&＃xff08;如文本先与图形&＃xff09;等。之后的Python爬虫开发&＃xff0c;主要就是和HTTP协议打交道

HTTP请求过程

HTTP协议采取的是请求响应模型&＃xff0c;HTTP协议永远都是客服端发起请求&＃xff0c;服务器回送响应。HTTP协议是一个无状态的协议&＃xff0c;同一个客户端的这次请求和上次请求没有对应关系。一次HTTP操作称为一个事务&＃xff0c;其执行过程可分为四步&＃xff1a;
1、首先客服端与服务端需要建立连接&＃xff0c;例如单击某个超链接&＃xff0c;HTTP的工作就开始了

2、建立连接后&＃xff0c;客户端发送一个请求个服务器&＃xff0c;请求方式的格式为统一资源标识符&＃xff08;URL&＃xff09;、协议版本号&＃xff0c;后边是MIME信息&＃xff0c;包括请求修饰符、客户机信息和可能的内容

3、服务器接到请求后&＃xff0c;给予相应的响应信息&＃xff0c;其格式为一个状态行&＃xff0c;包括信息的协议版本号、一个成功或错误的代码&＃xff0c;后边是MIME信息&＃xff0c;包括服务器信息、实体信息和可能的内容

4、客户端接受服务器所返回的信息&＃xff0c;通过浏览器将信息显示在用户的显示屏上&＃xff0c;然后客户端与服务断开连接

如果以上过程中的某一步出现错误&＃xff0c;那么产生错误的信息将返回到客户端&＃xff0c;在显示屏输出&＃xff0c;这些过程是由HTTP协议自己完成的

HTTP状态码含义

当浏览器访问一个网页时&＃xff0c;浏览者的浏览器会向网页所在服务器发出请求。在浏览器接受并显示网页前&＃xff0c;此网页所在的服务器会返回一个包含HTTP状态码的信息头&＃xff08;server header&＃xff09;用以响应浏览器的请求。HTTP状态码主要是为了标识此次HTTP请求的运行状态。下面是常见的HTTP状态码

200——请求成功
301——资源&＃xff08;网页等&＃xff09;被永久转移到其他URL
404——请求的资源&＃xff08;网页等&＃xff09;不存在
500——内部服务器错误

HTTP状态码由三个十进制数字组成&＃xff0c;第一个十进制数字定义了状态码的类型。HTTP状态码共分5种类型

HTTP头部信息

HTTP头部信息由众多的头域组成&＃xff0c;每个头域由一个域名、冒号(: ) 和域值三部分组成。域名是大小写无关的&＃xff0c;域值前可以添加任何数量的空格符&＃xff0c;头域可以被扩展为多行&＃xff0c;在每行开始处&＃xff0c;使用至少一个空格或制表符

通过浏览器访问百度首页时&＃xff0c;鼠标右键选择检查&＃xff0c;选择Network&＃xff0c;在里面可以监控整个HTTP访问的过程。下面就以访问百度的HTTP请求进行分析&＃xff0c;首先是浏览器发出请求&＃xff0c;请求头的数据如下&＃xff1a;

Request Headers

GET / HTTP/1.1
Host: www.baidu.com
Connection: keep-alive
Cache-Control: max-age&＃61;0
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36
Accept: text/html,application/xhtml&＃43;xml,application/xml;q&＃61;0.9,image/webp,image/apng,*/*;q&＃61;0.8
Referer: https://www.google.com.hk/
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q&＃61;0.9
COOKIE: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx


在请求头中包含一下内容&＃xff1a;
GET 代表的是请求方式&＃xff0c;HTTP/1.1协议标准

Host 头域&＃xff0c;用于指定请求资源的Intent主机和端口&＃xff0c;必须表示请求URL的原始服务器或网关的位置。HTTP/1.1请求必须包含主机头域(Host)&＃xff0c;否则系统会以400状态码返回

User-Agent 头域&＃xff0c;里面包含发出请求的用户信息&＃xff0c;其中有使用的浏览器型号、版本和操作系统的信息。这个头域经常用来作为反爬虫的措施

Accept 请求报头域&＃xff0c;用于指定客户端接受哪些类型的信息。例如&＃xff1a;Accept: image/gif&＃xff0c;表名客户端希望接受GIF图像格式的资源&＃xff1b;Accept: text/html&＃xff0c;表明客户端希望接受HTML文本

Accept-Language 请求报头域&＃xff0c;类似于Accept&＃xff0c;但是它用于指定一种自然语言。例如&＃xff1a;Accept-Language: zh-cn&＃xff0c;如果请求消息中没有设置这个报头域&＃xff0c;服务器假定客户端对各种语言都可以接受

Accept-Encoding 请求报头域&＃xff0c;类似于Accept&＃xff0c;但是它用于指定可接受的内容编码。例如&＃xff1a;Accept-Encoding: gzip, deflate。如果请求消息中没有设置这个域服务器假定客户端对各种内容编码都可以接受

Connection 报头域允许发送用于指定连接的选项。Keep-Alive功能使客户端到服务器端的连接持续有效&＃xff0c;当出现对服务器的后继请求时&＃xff0c;Keep-Alive功能避免了建立或者重新建立连接。例如指定连接的状态时连续&＃xff0c;或者指定 “close” 选项&＃xff0c;通知服务器&＃xff0c;在响应完成后&＃xff0c;关闭连接

Cache-Control 用于指定请求和响应遵循缓存机制。在请求消息或响应消息中设置Cache-Control并不会修改另一个消息处理过程中的缓存处理过程。请求时的缓存指令包括no-cache、no-store、max-age、max-stale、min-fresh、only-if-cached。各个消息中的指令含义如下&＃xff1a;

• no-cache指示请求或响应消息不能缓存
• no-store用于防止重要的信息被无意的发布。在请求消息中发送将使得请求和响应消息都不使用缓存
• max-age指示客户机可以接收生存期不大于指定时间&＃xff08;以秒为单位&＃xff09;的响应
• min-fresh指示客户机可以接收响应时间小于当前时间加上指定时间的响应
• max-stale指示客户机可以接收超出超时期间的响应消息。如果指定max-stale消息的值&＃xff0c;那么客户机可以接收超出超时期指定值之内的响应消息

Referer 告诉服务器我是从哪个页面链接过来的&＃xff0c;服务器基此可以获得一些信息用于处理

Upgrade-Insecure-Requests 为1&＃xff0c;则是告诉服务器&＃xff0c;浏览器可以处理HTTPS协议

If-Modified-Since 头域用于在发送HTTP请求时&＃xff0c;把浏览器端缓存页面的最后修改时间一起发到服务器去&＃xff0c;服务器会把这个时间与服务器上实际文件的最后修改时间进行比较。如果时间一致&＃xff0c;那么返回HTTP状态码304&＃xff08;不返回文件内容&＃xff09;&＃xff0c;客户端收到之后&＃xff0c;就直接把本地缓存文件显示到浏览器中。如果时间不一致&＃xff0c;就返回HTTP状态码200和新的文件内容&＃xff0c;客户端收到之后&＃xff0c;会丢弃旧文件&＃xff0c;把新文件缓存起来&＃xff0c;并显示到浏览器中

❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️ ❤️
请求发送成功后&＃xff0c;服务器进行响应&＃xff0c;接下来看一下响应头信息&＃xff0c;数据如下&＃xff1a;

HTTP/1.1 200 OK
Bdpagetype: 1
Bdqid: 0xd4260a8d00020fb2
Cache-Control: private
Connection: Keep-Alive
Content-Encoding: gzip
Content-Type: text/html;charset&＃61;utf-8
Cxy_all: baidu&＃43;6d4cb652e4bd8d6f9eae9891a67cd1a7
Date: Fri, 19 Oct 2018 09:01:59 GMT
Expires: Fri, 19 Oct 2018 09:01:45 GMT
Server: BWS/1.1
Set-COOKIE: delPer&＃61;0; path&＃61;/; domain&＃61;.baidu.com
Set-COOKIE: BDSVRTM&＃61;0; path&＃61;/
Set-COOKIE: BD_HOME&＃61;0; path&＃61;/
Set-COOKIE: H_PS_PSSID&＃61;1429_21108_26350; path&＃61;/; domain&＃61;.baidu.com
Strict-Transport-Security: max-age&＃61;172800
Vary: Accept-Encoding
X-Ua-Compatible: IE&＃61;Edge,chrome&＃61;1
Transfer-Encoding: chunked


响应头中包含以下内容&＃xff1a;
HTTP/1.1 表示使用HTTP1.1协议标准&＃xff0c;200 OK 说明请求成功

Date 表示消息产生的日期和时间

Content-Type 实体报头域用于指明发送给接受者的实体正文的媒体类型。text/html; charset&＃61;utf-8 代表HTML文本文档&＃xff0c;UTF-8 编码

Transfer-Encoding: chunked 表示输出的内容长度不能确定

Connection 报头域允许发送用于指定连接的选项。例如指定连接的状态是连续&＃xff0c;或者指定“close” 选项&＃xff0c;通知服务器&＃xff0c;在响应完成后&＃xff0c;关闭连接

Vary 头域指定了一些请求头域&＃xff0c;这些请求头域用来决定当缓存中存在一个响应&＃xff0c;并且该缓存没有过期失效时&＃xff0c;是否被允许利用此响应去恢复后续请求而不需要重复验证

Cache-Control 用于指定缓存指令&＃xff0c;缓存指令是单向的&＃xff0c;且是独立的。响应消息中的指令包括public、private、no-cache、no-store、no-transform、must-revalidate、proxy-revalidate、max-age

• Public指示响应可被任何缓存区缓存
• Private指示对于单个用户的整个或部分响应消息&＃xff0c;不能被共享缓存处理。这允许服务器仅仅描述当用户的部分响应消息&＃xff0c;此响应消息对于其他用户的请求无效。

Expires 实体报头域给出响应过期的日期和时间。 为了让代理服务器或浏览器在一段时间以后更新缓存中&＃xff08;再次访问曾访问过的页面时&＃xff0c;直接从缓存中加载&＃xff0c;缩短响应时间和降低服务器负载&＃xff09;的页面&＃xff0c;我们可以使用Expires实体报头域指定页面过期的时间

Last-Modified 实体报头域用于指示资源的最后修改日期和时间

Content-Encoding 实体报头域被用作媒体类型的修饰符&＃xff0c;它的值指示了已经被应用到实体正文的附加内容的编码&＃xff0c;因而要获得Content-Type报头域中所引用的媒体类型&＃xff0c;必须采用响应的解码机制。

Set-COOKIE setCOOKIE() 函数向客户端发送一个 HTTP COOKIE。COOKIE 是由服务器发送到浏览器的变量。COOKIE 通常是服务器嵌入到用户计算机中的小文本文件。每当计算机通过浏览器请求一个页面&＃xff0c;就会发送这个 COOKIE

HTTP消息报头只要包括普通报头、请求报头、响应报头、实体报头
1、在普通报头中&＃xff0c;有少数报头域用于所有的请求和响应消息&＃xff0c;但并不用与被传输的实体&＃xff0c;只用于传输的消息

2、请求报头允许客户端向服务器端传递请求的附加信息以及客户端自身的信息

3、响应报头允许服务器传递不能放在状态行中的附加响应信息&＃xff0c;以及关于服务器的信息和对Request-URL所标识的资源进行下一步访问的信息

4、请求和响应消息都可以传送一个实体。一个实体由一个实体报头域和实体正文组成&＃xff0c;但并不是说实体报头域和实体正文要在一起发送&＃xff0c;可以只发实体报头域。实体报头定义了关于实体正文和请求所标识的资源的原信息

COOKIE状态管理

由于HTTP是一种无状态的协议&＃xff0c;服务器单从网络连接上无从知道客户身份。怎么办呢&＃xff1f;就给客户端们颁发一个通行证吧&＃xff0c;每人一个&＃xff0c;无论谁访问都必须携带自己通行证。这样服务器就能从通行证上确认客户身份了。这就是COOKIE的工作原理

COOKIE和Session都用来保存状态信息&＃xff0c;都是保存客户端状态的机制&＃xff0c;它们都是为了解决HTTP无状态的问题所做的努力。对于爬虫开发来说&＃xff0c;我们更加关注的是COOKIE&＃xff0c;因为COOKIE将状态保存在客户端&＃xff0c;Session将状态保存在服务器端

COOKIE实际上是一小段的文本信息

COOKIE是服务器在本地机器&＃xff08;客户端&＃xff09;上存储的小段文本并随每一个请求发送至同一个服务器。网络服务器用HTTP头向客户端发送COOKIE&＃xff0c;浏览器则会解析这些COOKIE并将它们保存为一个本地文件&＃xff0c;它会自动将同一服务器的任何请求绑定上这些COOKIE

客户端请求服务器&＃xff0c;如果服务器需要记录该用户状态&＃xff0c;就使用response向客户端浏览器颁发一个COOKIE。客户端浏览器会把COOKIE保存起来。当浏览器再请求该网站时&＃xff0c;浏览器把请求的网址连同该COOKIE一同提交给服务器。服务器检查该COOKIE&＃xff0c;以此来辨认用户状态。服务器还可以根据需要修改COOKIE的内容。

Session是另一种记录客户状态的机制

COOKIE的工作方式&＃xff1a;服务器给每个Session分配一个唯一的JESSION-ID&＃xff0c;并通过COOKIE发送给客户端。当客户端发起新的请求的时候&＃xff0c;将在COOKIE头中携带这个JSESSIONID。这样服务器能够找到这个客户端对应的Session

不同的是COOKIE保存在客户端浏览器中&＃xff0c;而Session保存在服务器上。客户端浏览器访问服务器的时候&＃xff0c;服务器把客户端信息以某种形式记录在服务器上。这就是Session。客户端浏览器再次访问时只需要从该Session中查找该客户的状态就可以了。

如果说COOKIE机制是通过检查客户身上的“通行证”来确定客户身份的话&＃xff0c;那么Session机制就是通过检查服务器上的“客户明细表”来确认客户身份。Session相当于程序在服务器上建立的一份客户档案&＃xff0c;客户来访的时候只需要查询客户档案表就可以了

HTTP请求方式

HTTP的请求方法包括如下几种&＃xff1a;
1、GET &＃xff1a;请求指定的页面信息&＃xff0c;并返回实体主体

2、POST&＃xff1a;向指定资源提交数据进行处理请求&＃xff08;例如提交表单或者上传文件&＃xff09;。数据被包含在请求体中。POST请求可能会导致新的资源的建立或者已有资源的修改

3、HEAD&＃xff1a;类似于get请求&＃xff0c;只不过返回的响应中没有具体的内容&＃xff0c;用于获取报头

4、PUT&＃xff1a;从客户端向服务器传送的数据取代指定的文档的内容

5、DELETE&＃xff1a;请求服务器删除指定的页面

6、OPTIONS&＃xff1a;允许客户端查看服务器的性能

7、TRACE&＃xff1a;回显服务器收到的请求&＃xff0c;主要用于测试或诊断

8、CONNECT&＃xff1a;HTTP/1.1协议中预留给能将连接改为管道方式的代理服务器

其中常用的请求方式是GET和POST&＃xff1a;
GET 方式&＃xff1a;是以实体的方式得到由请求URL所指定资源的信息&＃xff0c;如果请求URL只是一个数据产生过程&＃xff0c;那么最终要在响应实体中返回的是处理过程的描述
POST方式&＃xff1a;用来向目的服务器发出请求&＃xff0c;要求它接受被附加在请求后的实体&＃xff0c;并把它当作请求队列中请求URL 所指定资源的附加新子项

GET与POST的区别&＃xff1a;
在客户端&＃xff0c;GET方式通过URL提交数据&＃xff0c;数据在URL中可以看到&＃xff1b;POST方式&＃xff0c;数据处置在实体去内提交

GET方法提交的数据最多只能由1024字节&＃xff0c;而POST则没有此限制

安全问题&＃xff0c;使用GET的时候&＃xff0c;参数会显示在地址栏上&＃xff0c;而POST不会。所以&＃xff0c;如果这些数据是非敏感数据&＃xff0c;那么使用GET&＃xff1b;如果用户输入的数据包含敏感数据&＃xff0c;那么还是使用POST为好

GET请求在访问网页时很常见&＃xff0c;POST请求则是常用在登录框、提交框的位置