#Python学习笔记——爬虫的自我养成（一）

一、

爬虫需要的包为urllib

首先介绍urllib.request模块

urllib.request.urlopen(&＃39;网站的地址&＃39;) -> 打开一个网站&＃xff0c;将网站的响应返回一个对象&＃xff08;可以类比打开一个文件返回一个文件对象&＃xff09;

urllib.request.read() -> 将网站对象转换成二进制数据&＃xff0c;如果想将其打印必须解码&＃xff1a;decode(&＃39;utf-8&＃39;)

例1&＃xff1a;

由以上两个方法我们可以爬去网上一个图片&＃xff0c;以http://placekitten.com/250/400为例&＃xff1a;

import urllib.request as ur

respon &＃61; ur.urlopen(&＃39;http://placekitten.com/250/400&＃39;)#返回一个网站对象
res &＃61; respon.read()#将网站对象转化成二进制数据

with open(&＃39;第一个爬虫.jpg&＃39;, &＃39;wb&＃39;) as f:#以二进制方式打开一张空白图片
    f.write(res)#将网站对象的二进制数据写入图片&＃xff0c;写入的数据和文件的打开方式一定要对应

例2&＃xff1a;

from urllib import requestwith request.urlopen(&＃39;https://api.douban.com/v2/book/2129650&＃39;) as f:data &＃61; f.read()print(&＃39;Status:&＃39;, f.status, f.reason)for k, v in f.getheaders():print(&＃39;%s: %s&＃39; % (k, v))print(&＃39;Data:&＃39;, data.decode(&＃39;utf-8&＃39;))

getheaders方法应该是返回一个数组&＃xff0c;包含有服务器响应一个 HTTP 请求所发送的标头。

data的数据可以用“utf-8”解码

Status: 200 OK
Server: nginx
Date: Tue, 26 May 2015 10:02:27 GMT
Content-Type: application/json; charset&＃61;utf-8
Content-Length: 2049
Connection: close
Expires: Sun, 1 Jan 2006 01:00:00 GMT
Pragma: no-cache
Cache-Control: must-revalidate, no-cache, private
X-DAE-Node: pidl1
Data: {"rating":{"max":10,"numRaters":16,"average":"7.4","min":0},"subtitle":"","author":["廖雪峰编著"],"pubdate":"2007-6",...}

二、

爬取有道词典进行翻译的流程。

1、查看网页源代码

2、在network中找到method&＃xff0c;寻找客户端提交的请求

3、在请求中找到地址url

4、在请求中找到接口from data&＃xff0c;其下内容便是客户端传给服务器的指定数据

5、data必须是指定要发送到服务器的其他数据的对象

6、data遵循一定的格式和编码传输协议&＃xff08;有待进一步考证utf-8的进一步含义&＃xff09;

7、利用字典封装需要传入的数据&＃xff0c;利用方法urllib.parse.urlencod().encode(&＃39;utf-8

)将其转化成能被传入服务器的格式和传输方式。utf-8将数据以bytes的形式传入

8、将指定数据传入服务器之后服务器会返回相应数据&＃xff0c;这些数据的返回形式是&＃39;utf-8&＃39;&＃xff0c;因而在读取的过程中需要解码。即用urllib.request.read().decode(&＃39;utf-8&＃39;)