不会吧，你想学爬虫，却不懂它的原理？

在学习爬虫前&＃xff0c;先了解一下基础知识&＃xff0c;例如http原理&＃xff0c;网页基础知识&＃xff0c;爬虫基本原理等。

HTTP基本原理

一个网站的图标链接&＃xff0c;它就是一个URL&＃xff0c;也可以叫URI&＃xff0c;但是我个人习惯于URL&＃xff0c;而且在互联网中URL也是比较常见的。

超文本

我们在浏览器里看到的网页就是超文本解析而成的&＃xff0c; 其网页源代码是一系列 HTML 代码&＃xff0c; 里面包含了一系列标签&＃xff0c;在网页里面的HTML就是可以被称之为超文本。例如我们在谷歌浏览器&＃xff0c;打开开发者工具&＃xff0c;看到的就是一些源码&＃xff0c;这些源代码就是超文本。HTTP和HTTPS

HTTPS被称之为安全通道&＃xff0c;也就是HTTP的一个安全升级。这个我们在自己也可以看到。

HTTP请求过程

我们在浏览器中输入一个 URL &＃xff0c;回车之后便会在浏览器中观察到页面内容 实际上&＃xff0c;这个过程是浏览器向网站所在的服务器发送了一个请求&＃xff0c;网站服务器接收到这个请求后进行处理和解析&＃xff0c;然后返回对应的响应&＃xff0c;接着传回给浏览器。 响应里包含了页面的源代码等内容&＃xff0c;浏览器再对其进行解析便将网页呈现了出来。

新手学习&＃xff0c;Python 教程/工具/方法/解疑&＃xff0b;V&＃xff1a;itz992

学会看懂网页的一些元素也是很重要的&＃xff0c;比如一些请求头信息&＃xff0c;响应头信息&＃xff0c;这些都是我们在网络爬取过程必须要走过的路。

请求

1.请求方法

请求头

请求头&＃xff0c;用来说明服务器要使用的附加信息&＃xff0c;比较重要的信息有 COOKIE 、 Referer 、 User-Agent 等 &＃xff0c;下面简要说明一些常用的头信息 。

COOKIE &＃xff1a;也常用复数形式 COOKIEs &＃xff0c;这是网站为了辨别用户进行会话跟踪而存储在用户本地的数据 。 它的主要功能是维持当前访问会话 。 例如&＃xff0c;我们输入用户名和密码成功登录某个网站后&＃xff0c;服务器会用会话保存登录状态信息&＃xff0c;后面我们每次刷新或请求该站点的其他页面时&＃xff0c;会发现都是登录状态&＃xff0c;这就是 COOKIEs 的功劳 。 COOKIEs 里有信息标识了我们所对应的服务器的会话&＃xff0c;每次浏览器在请求该站点的页面时&＃xff0c;都会在请求头中加上 COOKIEs 并将其发送给服务器&＃xff0c;服务器通过 COOKIEs 识别出是我们自己&＃xff0c;并且查出当前状态是登录状态&＃xff0c;所以返回结果就是登录之后才能看到的网页内容 。

Referer &＃xff1a;此内容用来标识这个请求是从哪个页面发过来的&＃xff0c;服务器可以拿到这一信息并做相应的处理&＃xff0c;如做来源统计、防盗链处理等 。

User-Agent &＃xff1a;简称 UA &＃xff0c;它是一个特殊的字符串头&＃xff0c;可以使服务器识别客户使用的操作系统及版本 、 浏览器及版本等信息 。 在做爬虫时加上此信息&＃xff0c;可以伪装为浏览器&＃xff1b;如果不加&＃xff0c;很可能会被识别州为爬虫 。

一般在进行爬虫的时候&＃xff0c;我们都需要加入请求头&＃xff0c;不然就会被识别为爬虫&＃xff0c;其中最为重要的就是user-agent

响应

响应状态码表示服务器的响应状态&＃xff0c;如 200 代表服务器正常响应&＃xff0c; 404 代表页面未找到&＃xff0c; 500 代表服务器内部发生错误。 在爬虫中&＃xff0c;我们可以根据状态码来判断服务器响应状态&＃xff0c;如状态码为 200 &＃xff0c;则证明成功返回数据 &＃xff0c; 再进行进一步的处理&＃xff0c;否则直接忽略。

最重要的当属响应体的内容了 。 响应的正文数据都在响应体中&＃xff0c;比如请求网页时&＃xff0c;它的响应体就是网页的 HTML 代码 &＃xff1b; 请求一张图片时 &＃xff0c; 它的响应体就是图片的二进制数据 。 我们做爬虫请求网页后&＃xff0c;要解析的 内容就是响应体 &＃xff0c;在浏览器开发者工具中点击 Preview &＃xff0c;就可以看到网页的源代码 &＃xff0c; 也就是响应体的内容&＃xff0c;它是解析的目标。

网页基础

网页可以分为三大部分一一HTML , CSS 和 Javascript。 如果把网页 比作一个人的话 &＃xff0c; HTML 相当于骨架&＃xff0c; Javascript 相当于肌肉 &＃xff0c; css 相当于皮肤&＃xff0c;三者结合起来才能形成一个完善的网页 。

HTML在HTML中图片用 img 标签表示&＃xff0c; 视频用 video 标签表示 &＃xff0c;段落用 p 标签表示 &＃xff0c;它们之间的布局又常通过布局标签 div 嵌套组合而戚 &＃xff0c;各种标签通过不同的排列和嵌套才形成了 网页的框架。

CSS

css 是目前唯一的网页页面排版样式标准&＃xff0c;HTML 定义了网页的结构&＃xff0c;但是只有 HTML 页面的布局并不美观&＃xff0c;可能只是简单的节点元素的排列&＃xff0c;为了让网页看起来更好看一些&＃xff0c;这里借助了 css 。

Javascript

Javascript &＃xff0c;简称 JS &＃xff0c; 是一种脚本语言 。 HTML 和 css 配合使用&＃xff0c; 提供给用户的只是一种静态信息&＃xff0c;缺乏交互性。 我们在网页里可能会看到一些交互和动画效果&＃xff0c;如下载进度条、提示框 、 轮播图等 &＃xff0c;这通常就是Javascript 的功劳。 它的出现使得用户与信息之间不只是一种浏览与显示的关系&＃xff0c;而是实现了一种实时、动态、交互的页面功能 。

节树点

在 HTML 中&＃xff0c;所有标签定义的内容都是节点&＃xff0c;它们构成了一个 HTML DOM 树。节树点与节点的关系

选择器

在 css 中&＃xff0c;我们使用 css 选择器来定位节点 。 例如&＃xff0c;上例中 div 节点的 id 为 container &＃xff0c;那么就可以表示为&＃xff03;container &＃xff0c;其中&＃xff03;开头代表选择 id &＃xff0c;其后紧跟 id 的名称。 另外&＃xff0c;如果我们想选择 class为 wrapper 的节点 &＃xff0c;便可以使用 .wrapper &＃xff0c;这里以点&＃xff08;&＃xff0e;&＃xff09;开头代表选择 class &＃xff0c;其后紧跟 class 的名称 。另外&＃xff0c;还有一种选择方式&＃xff0c;那就是根据标签名筛选&＃xff0c;例如想选择二级标题 &＃xff0c;直接用 h2 即可 。 这是最常用的 3 种表示&＃xff0c;分别是根据id 、 class 、标签名筛选在进行Python爬虫筛选的时候&＃xff0c;我们有CSS&＃xff0c;Xpath&＃xff0c;还有正则表达式进行筛选我们需要的&＃xff0c;比较简单的是正则表达式&＃xff0c;但是它比较繁琐&＃xff0c;稍不注意就会出现差错&＃xff0c;其实最好用的还是Xpath。