热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

浏览器头部信息

#对反爬虫网页,可以设置一些headers信息,模拟成浏览器取访问网站importurllib.requesturlhttps:www.baidu

#对反爬虫网页,可以设置一些headers信息,模拟成浏览器取访问网站
import urllib.request
url="https://www.baidu.com/"
file=urllib.request.urlopen(url)
# print('获取当前url:',file.geturl() )
# print('file.getcode,HTTPResponse类型:',file.getcode )
print('file.info 返回当前环境相关的信息:' ,file.info())

COOKIE 获取一

# 导入模块
from selenium import webdriverdriver = webdriver.Chrome(executable_path='D:\chromedriver\chromedriver')url = "https://www.baidu.com"
driver.get(url)
# 获取COOKIE列表
COOKIE_list = driver.get_COOKIEs()
# 格式化打印COOKIE
# print(COOKIE_list)
COOKIE_dict = {}
COOKIE = ''
for COOKIE in COOKIE_list:COOKIE_dict[COOKIE['name']] = COOKIE['value']
print(COOKIE_dict)driver.quit()

 COOKIE 获取二

import requests
def Get_COOKIE(url):session = requests.Session()headers = {'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1'}req = session.get(url, headers=headers, verify=True)# 获取当前的COOKIECOOKIE = dict(session.COOKIEs)# print(COOKIE)return COOKIECOOKIE = ''
coo = Get_COOKIE('https://www.baidu.com/')
# print(coo)
for index, key in enumerate(coo):COOKIE = COOKIE + (key + '=' + coo[key] + ';')# print(coo[key])
print(COOKIE)

 COOKIE 获取三

# python3.6环境
from urllib import request
from http import COOKIEjarif __name__ == '__main__':# 声明一个COOKIEJar对象实例来保存COOKIECOOKIE = COOKIEjar.COOKIEJar()# 利用urllib.request库的HTTPCOOKIEProcessor对象来创建COOKIE处理器,也就COOKIEHandlerhandler = request.HTTPCOOKIEProcessor(COOKIE)# 通过COOKIEHandler创建openeropener = request.build_opener(handler)# 此处的open方法打开网页response = opener.open('https://blog.csdn.net/t8116189520/article/details/80319339')# 打印COOKIE信息for item in COOKIE:print('Name = %s' % item.name)print('Value = %s' % item.value)

 

 


推荐阅读
author-avatar
miya的发现王国sGA_998
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有