域名

域名只是一个网站的标识&＃xff0c;不可以直接访问网站&＃xff0c;只有当域名经过解析之后&＃xff0c;这个域名才能成为一个URL(网址)。URL(网址)包含域名&＃xff0c;是Internet上的地址簿&＃xff0c;通过URL可以到达任何一个网站页面。

通用爬虫&＃xff1a;

&＃xff08;通用性搜索引擎&＃xff09;--百度等&＃xff1a;大多爬取得是无用信息

聚焦爬虫&＃xff1a;

根据需求来爬取

聚焦爬虫设计思路&＃xff1a;

        1、给一个URL&＃xff08;URL如何获取&＃xff1f;&＃xff09;

        2、模拟游览器通过http协议访问url&＃xff08;如何访问&＃xff09;&＃xff0c;获取服务器返回的html代码

        3、按照规则解析html字符串&＃xff08;如何解析&＃xff09;

反爬手段&＃xff1a;

        1、user-agent(用户代理)&＃xff0c;简称ua&＃xff0c;使得服务器能够识别何种&＃xff0c;操作系统、游览器

        2、代理IP&＃xff1a;透明代理、匿名代理、高匿名代理

        3、验证码校验

        4、多态加载网页&＃xff1a;给你一些假数据

        5、数据加密

urllib库pycharm自带&＃xff0c;不用下载

ctrl&＃43;f输出端搜索

1、需求&＃xff1a;使用urllib获取百度首页源码

# 需求&＃xff1a;使用urllib获取百度首页源码import urllib.request
# 1、定义一个url
url &＃61; &＃39;http://www.baidu.com&＃39;
# 2、模拟游览器向服务器发送请求
response &＃61; urllib.request.urlopen(url)
# 3、获取响应中的页面源码
# read默认返回的是字节形式的二进制数据&＃xff0c;所以要转化一下&＃xff08;decoe解码:二进制--字符串&＃xff09;
content &＃61; response.read().decode(&＃39;utf-8&＃39;)# 4、打印数据
print(content)

2、一个类型和六个方法

import urllib.requesturl &＃61; &＃39;http://www.baidu.com&＃39;response &＃61; urllib.request.urlopen(url)
print(type(response)) # 一个类型&＃xff1a;# 六个方法
content &＃61; response.read(5) # 读5个字节
content &＃61; response.readline()
content &＃61; response.readlines()
content &＃61; response.getcode() # 返回状态码&＃xff0c;如果返回200则是对的
content &＃61; response.geturl() # 返回url地址
content &＃61; response.getheaders() # 返回状态信息
print(content)

3、下载网页、图片、视频

import urllib.request
# 下载网页
url_page &＃61; &＃39;https://www.csdn.net/&＃39;
urllib.request.urlretrieve(url_page,&＃39;csdn.html&＃39;) # 取回
print(&＃39;successful&＃39;)
# 下载图片
url_image &＃61; &＃39;https://img2.baidu.com/it/u&＃61;1742064249,2154824212&fm&＃61;253&fmt&＃61;auto&app&＃61;138&f&＃61;JPEG?w&＃61;500&h&＃61;500&＃39;
urllib.request.urlretrieve(url&＃61;url_image,filename&＃61;&＃39;girl.jpg&＃39;)# 下载视频
url_video &＃61; &＃39;https://vd2.bdstatic.com/mda-kknnhxizkvhw1358/sc/mda-kknnhxizkvhw1358.mp4?v_from_s&＃61;hkapp-haokan-nanjing&auth_key&＃61;1651033121-0-0-c1c56be3425d4d317cbdf70d329098bb&bcevod_channel&＃61;searchbox_feed&pd&＃61;1&cd&＃61;0&pt&＃61;3&logid&＃61;2920995839&vid&＃61;18373311689486988030&abtest&＃61;100815_1-101454_5-101830_2-17451_2&klogid&＃61;2920995839&＃39;
urllib.request.urlretrieve(url&＃61;url_video,filename&＃61;&＃39;girl_avatar.mp4&＃39;)


4、请求对象的定制

5、get请求

6、post请求

7、代理、代理池