爬虫之requests进阶

requests模块高级

代理（反爬机制）

短时间向一个服务器发起高频请求，会被认定为异常请求，将当前ip列入黑名单

• 概念：在爬虫中指的就是代理服务器


• 代理服务器的作用：
  
  
  
  • 拦截请求和响应，进行转发
  
  
  
  


• 代理和爬虫之间的关联？
  
  
  
  • 如果pc端ip被禁掉后，我们就可以使用代理机制更换请求的ip
  
  
  
  


• 如何获取相关的代理服务器
  
  
  
  • 快代理：https://www.kuaidaili.com/
  
  
  • 西刺代理：https://www.xicidaili.com/
  
  
  • 代理精灵：http://http.zhiliandaili.com/（推荐使用，便宜）
  
  
  • 购半价：http://www.goubanjia.com/
  
  
  
  


• 匿名度
  
  
  
  • 透明：知道你使用代理，也知道你的真实ip
  
  
  • 匿名：对方服务器知道你使用了代理机制，但是不会到你的真实ip
  
  
  • 高匿名：对方服务器不知道你使用了代理机制，更不知道你的真实ip
  
  
  
  


• 类型
  
  
  
  • http：只可以拦截转发http协议的请求
  
  
  • https：证书秘钥加密，只可以转发拦截https的请求
  
  
  
  

基本使用

• 基于搜狗ip搜索，搜索到的页面中会显示该请求对应的ip地址
  
  
  
  • https://www.sogou.com/web?query=ip
  
  
  
  


• 语法结构
  
  
  
  • get/post(proxies={'http/https':'ip:prot'})
  
  
  
  

import requests
from lxml import etree
headers = {
&＃039;user-agent&＃039;: &＃039;mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/80.0.3987.132 safari/537.36&＃039;
}
url = "https://www.sogou.com/web?query=ip"
# 代理机制对应的就是get或者post方法中一个叫做proxies的参数
page_text = requests.get(url=url,headers=headers,proxies={"https":&＃039;221.1.200.242:38652&＃039;}).text
tree = etree.html(page_text)
# 在xpath表达式中不能出现tbody标签
ip = tree.xpath(&＃039;//*[@id="ipsearchresult"]/strong/text()&＃039;)[0]
print(ip)

代理池案例

爬取某一网站请求过多会被封ip，所以要使用代理池

• 将西刺代理中的免费代理ip进行爬取
  
  
  
  • https://www.xicidaili.com/nn/
  
  
  
  

import requests
import random
from lxml import etree
headers = {
&＃039;user-agent&＃039;: &＃039;mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/80.0.3987.132 safari/537.36&＃039;
}
all_ips = []
api_url = "购买代理精灵付费ip生成的html的地址"
api_text = requests.get(url=api_url,headers=headers).text
api_tree = etree.html(api_text)
datas = api_tree.path(&＃039;//body//text()&＃039;) # 取出所有文本
for data in datas:
dic = {
&＃039;https&＃039;:data
}
all_ips.append(dic) # 以字典的形式[{},{}...]
url = "https://www.xicidaili.com/nn/%d" # 定义一个通用的url模板
ip_datas = [] # 解析到的所有数据
for page_num in range(1,50): # 页码越多，代理池ip就越多，ip有效时长多一点
new_url = format(url%page_num)
page_text=requests.get(url=new_url,headers=headers,proxies=random.choice(all_ips)).text
tree =etree.html(page_text)
tr_lst = tree.xpath(&＃039;//*[@id="ip_list"]//tr&＃039;)[1:]
for tr in tr_lst:# 局部数据解析
ip = tr.xpath(&＃039;./td[2]/text()&＃039;)[0]
prot = tr.xpath(&＃039;./td[3]/text()&＃039;)[0]
dic_ = {
"https":ip + ":" + prot
}
ip_datas.append(dic_)
print(len(datas)) # 爬取到的ip

模拟登录

• 为什么要实现模拟登录？
  
  
  
  • 相关页面是必须经过登陆之后才可见的
  
  
  
  

验证码处理

• 验证码的处理

  
  
  
  

  • 使用相关的打码平台进行验证码的动态识别

    
    
  
  

  • 打码平台

    
    
    
    
    • 超级鹰（推荐，可以识别12306验证）
      
      
      
      • http://www.chaojiying.com/
      
      
      
      
    
    
    • 云打码
      
      
      
      • http://yundama.com/
      
      
      • 创建开发者帐号，普通用户登录无法创建id
      
      
      
      
    
    
    
    
  
  

  • 超级鹰使用流程

    
    
    
    

    • 注册【用户中心】身份的帐号

      
      
    
    

    • 登录

      
      
      
      

      • 创建一个软件

        用户中心→软件id→添加软件

        
        
      
      

      • 下载示例代码

        
        
      
      
      
      
    
    
    
    
  
  
  
  

#!/usr/bin/env python
# coding:utf-8
import requests
from hashlib import md5
class chaojiying_client(object):
def __init__(self, username, password, soft_id):
self.username = username
password = password.encode(&＃039;utf8&＃039;)
self.password = md5(password).hexdigest()
self.soft_id = soft_id
self.base_params = {
&＃039;user&＃039;: self.username,
&＃039;pass2&＃039;: self.password,
&＃039;softid&＃039;: self.soft_id,
}
self.headers = {
&＃039;connection&＃039;: &＃039;keep-alive&＃039;,
&＃039;user-agent&＃039;: &＃039;mozilla/4.0 (compatible; msie 8.0; windows nt 5.1; trident/4.0)&＃039;,
}
def postpic(self, im, codetype):
"""
im: 图片字节
codetype: 题目类型 参考 http://www.chaojiying.com/price.html
"""
params = {
&＃039;codetype&＃039;: codetype,
}
params.update(self.base_params)
files = {&＃039;userfile&＃039;: (&＃039;ccc.jpg&＃039;, im)}
r = requests.post(&＃039;http://upload.chaojiying.net/upload/processing.php&＃039;, data=params, files=files, headers=self.headers)
return r.json()
def reporterror(self, im_id):
"""
im_id:报错题目的图片id
"""
params = {
&＃039;id&＃039;: im_id,
}
params.update(self.base_params)
r = requests.post(&＃039;http://upload.chaojiying.net/upload/reporterror.php&＃039;, data=params, headers=self.headers)
return r.json()
# 封装一个验证码识别的函数
def transform_code(imgpath,imgtype):
chaojiying = chaojiying_client(&＃039;超级鹰用户名&＃039;, &＃039;超级鹰用户名的密码&＃039;, &＃039;用户中心>>软件id&＃039;)
im = open(imgpath, &＃039;rb&＃039;).read()
return chaojiying.postpic(im, imgtype)[&＃039;pic_str&＃039;]

COOKIE处理

• 手动处理
  
  
  
  • 将请求携带的COOKIE封装到headers中
  
  
  
  


• 自动处理
  
  
  
  • session对象，该对象和requests都可以进行get和post请求的发送； 使用session对象发送请求过程中，产生的COOKIE会被自动存储到session对象中； COOKIE存储到session对象中后，再次使用session进行请求发送，则该次请求就是携带着COOKIE发送的请求。
  
  
  • session处理COOKIE的时候，session对象最少发几次请求？
    
    
    
    • 两次。第一次是为了获取和存储COOKIE；第二次才是携带COOKIE进行的请求发送。
    
    
    
    
  
  
  • session = requests.session()
  
  
  
  

需求：爬取雪球网中的新闻标题和内容

• 手动处理COOKIE
  
  
  
  • 有局限性，不能保证COOKIE的有效时长
  
  
  
  

import requests
headers = {
&＃039;user-agent&＃039;: &＃039;mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/80.0.3987.132 safari/537.36&＃039;,
# 手动处理
&＃039;COOKIE&＃039;:&＃039;aliyungf_tc=aqaaanpdtcedngqa0evi33fxpcso1bvs; acw_tc=2760823015846080972884781e8f986f089c7939870e775a86ffb898ca91d4; xq_a_token=a664afb60c7036c7947578ac1a5860c4cfb6b3b5; xqat=a664afb60c7036c7947578ac1a5860c4cfb6b3b5; xq_r_token=01d9e7361ed17caf0fa5eff6465d1c90dbde9ae2; xq_id_token=eyj0exaioijkv1qilcjhbgcioijsuzi1nij9.eyj1awqioi0xlcjpc3mioij1yyisimv4cci6mtu4ntm2mjywnywiy3rtijoxntg0nja4mdcwnzy4lcjjawqioijkowqwbjrbwnvwin0.gwlwgxwjdywungniatqxswjjo6nkjy9pcj0acif9vuhvsuxei7iw7_wivbhdc1wtk86j8ayj_bzd-kxyshad1z8kym6tv80l931tmestgj1i6up66wsauz3pydbc4ko1chueqmw_nca1uhsjwrc-4mokmmbbll6ryvpsocfrxrvrqy-dx_1ubcs_bsrcaakyoecwxo01tgfqqovebd9apgudaxtqc3hajptlzpqyh62cyyijzwhgsbi0emf1k1wmp_539girzempne7ngk6n1i8tqtdh_xadtfffk07g177w84nvujfsb8hpca6rzydugpamawqqjcpeusdzdkhkda; u=301584608097293; hm_lvt_1db88642e346389874251b5a1eded6e3=1584608100; device_id=24700f9f1986800ab4fcc880530dd0ed; COOKIEsu=901584608234987; hm_lpvt_1db88642e346389874251b5a1eded6e3=1584608235&＃039;
}
url = &＃039;https://xueqiu.com/v4/statuses/public_timeline_by_category.json?&＃039;
params = {
&＃039;since_id&＃039;: &＃039;-1&＃039;,
&＃039;max_id&＃039;: &＃039;20369159&＃039;,
&＃039;count&＃039;: &＃039;15&＃039;,
&＃039;category&＃039;: &＃039;-1&＃039;,
}
page_json = requests.get(url=url,headers=headers,params=params).json()
print(page_json)

• 自动处理
  
  
  
  • 推荐使用，每次都可以获取新的COOKIE
  
  
  
  

import requests
headers = {
&＃039;user-agent&＃039;: &＃039;mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/80.0.3987.132 safari/537.36&＃039;
}
# 实例化一个session对象
session = requests.session()
# 试图将COOKIE获取且存储到session对象中，url得试着来
session.get(&＃039;https://xueqiu.com/&＃039;,headers=headers)
# url地址
url = &＃039;https://xueqiu.com/v4/statuses/public_timeline_by_category.json?&＃039;
# 发请求索携带的参数
params = {
&＃039;since_id&＃039;: &＃039;-1&＃039;,
&＃039;max_id&＃039;: &＃039;20369159&＃039;,
&＃039;count&＃039;: &＃039;15&＃039;,
&＃039;category&＃039;: &＃039;-1&＃039;,
}
# 携带COOKIE的发送求情
page_json = session.get(url=url,headers=headers,params=params).json()
print(page_json)

案例：古诗文网模拟登陆

• url：https://so.gushiwen.org/user/login.aspx?from=http://so.gushiwen.org/user/collect.aspx


• 分析
  
  
  
  • 通过抓包工具定位到点击登录按钮对应的数据包（包含用户名、密码、验证码）
  
  
  • 从数据包中取出请求的url，请求方式，请求参数
  
  
  
  

import requests
from lxml import etree
headers = {
&＃039;user-agent&＃039;: &＃039;mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/80.0.3987.132 safari/537.36&＃039;
}
# 网站涉及到COOKIE,直接实例化session对象，所有请求都用session发送
session = requests.session()
# 验证码识别
first_url = "https://so.gushiwen.org/user/login.aspx?from=http://so.gushiwen.org/user/collect.aspx"
page_text = session.get(first_url,headers=headers).text
tree = etree.html(page_text)
code_img_src = "https://so.gushiwen.org/" + tree.xpath(&＃039;//*[@id="imgcode"][email&＃160;protected]&＃039;)[0]
# 对验证码图片的地址进行发请求,产生了COOKIE
code_img_data = session.get(code_img_src,headers=headers).content
with open(&＃039;./code.jpg&＃039;,&＃039;wb&＃039;) as f:
f.write(code_img_data)
# 基于超级鹰识别验证码,可以将超级鹰的包导入，因为我用的是jupyter，上面运行过超级鹰的包和我写的函数，所以直接拿来用了，使用pycharm的话就导入一下
# from 超级鹰py文件路径 import transform_code
code_img_text = transform_code(&＃039;./code.jpg&＃039;,1902)
# 识别验证码也不是百分百成功的，所以查看一下
print(code_img_text)
url = &＃039;https://so.gushiwen.org/user/login.aspx&＃039;
# 动态参数
data = {
&＃039;__viewstate&＃039;: &＃039;ldci9gbqvef2rdrer42gqu3m7xrls5iibh9mpop+qc1oncwpo9eqczsxuhhinxi26x0x19nb1l6gw26sc8qi4q/xnapck67ogf/fgdofhuewfpnrlznjctqf/no=&＃039;,
&＃039;__viewstategenerator&＃039;: &＃039;c93be1ae&＃039;,
&＃039;from&＃039;: &＃039;http://so.gushiwen.org/user/collect.aspx&＃039;,
&＃039;email&＃039;: &＃039;网站用户名&＃039;,
&＃039;pwd&＃039;: &＃039;网站用户名对应的密码&＃039;,
&＃039;code&＃039;: code_img_text, # 验证码
&＃039;denglu&＃039;: &＃039;登录&＃039;,
}
page_text = session.post(url=url,headers=headers,data=data).text
with open(&＃039;./古诗文.html&＃039;,&＃039;w&＃039;,encoding=&＃039;utf-8&＃039;) as f:
# 将登陆后的页面持久化存储
f.write(page_text)

遇到了动态变化的请求参数该如何处理？

• 通常情况下，动态变化的请求参数的值都会被隐藏在前台页面中


• 基于抓包工具进行全局搜索（基于js逆向获取相关的参数值）

语音合成

基于百度ai开放平台，全部免费。

• 在线合成python-sdk文档地址：https://cloud.baidu.com/doc/speech/s/zk4nlz99s

案例：文本数据合成音频文件

• 需求：爬取文本数据将其通过百度ai的语音合成功能将文字合成音频文件，并将音频文件部署到flask服务器中进行播放


• 爬取段子网的一句话段子为例，合成音频文件

import requests
import os
from lxml import etree
from aip import aipspeech
# 请求头信息
headers = {
&＃039;user-agent&＃039;: &＃039;mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/80.0.3987.132 safari/537.36&＃039;
}
# 实例化一个aipspeech对象
""" 你的 appid ak sk """
app_id = &＃039;18937972&＃039;
api_key = &＃039;zdkcbvifz6trove2txdelcgs&＃039;
secret_key = &＃039;owrrlm2iebwa2vf8hu4um8q5oezwuanp&＃039;
client = aipspeech(app_id, api_key, secret_key)
# 创建存放音频的文件夹
dirname = &＃039;static&＃039;
if not os.path.exists(dirname):
os.mkdir(dirname)
# 通用url地址
all_url = &＃039;https://duanziwang.com/category/%e4%b8%80%e5%8f%a5%e8%af%9d%e6%ae%b5%e5%ad%90/{}/&＃039;
# 全站爬取，随便爬取10页
for num in range(1,11):
url = all_url.format(num)
page_text = requests.get(url=url,headers=headers).text
tree = etree.html(page_text)
article_list = tree.xpath(&＃039;/html/body/section/div/div/main/article&＃039;)
for art in article_list:
# 采集音频文件的存储路径、名字、后缀
title = "./static/" + art.xpath(&＃039;./div[1]/h1/a/text()&＃039;)[0] + ".mp3"
cOntent= art.xpath(&＃039;./div[2]/p/text()&＃039;)[0]
# 百度ai接口调用
result = client.synthesis(content, &＃039;zh&＃039;, 1, {
# 音量1-15
&＃039;vol&＃039;: 5,
# 发声，0女，1男
&＃039;per&＃039;: 0,
# 语速1-9
&＃039;spd&＃039;: 5,
})
# 识别正确返回语音二进制 错误则返回dict 参照下面错误码
if not isinstance(result, dict):
with open(title, &＃039;wb&＃039;) as f:
f.write(result)
print("over!")

flask搭建

未完待续...