笔记day010

“大数据时代” 数据获取的方式

• 企业生产的用户数据&＃xff1a;大型互联网公司有海量用户

• 互联网数据指数
  百度指数&＃xff1a;http://index.baidu.com/
  阿里指数&＃xff1a;http://index.1688.com/
  腾讯指数&＃xff1a;http://tbi.tencent.com/
  微博指数&＃xff1a;http://data.weibo.com/index

• 数据管理咨询公司

• 艾瑞咨询&＃xff1a;http://www.mckinsey.com.cn/

• 麦肯锡咨询&＃xff1a; http://www.mckinsey.com.cn/

• 埃森哲咨询&＃xff1a;https://www.accenture.com/cn-zh/

• 政府/机构提供的公开数据&＃xff1a;政府通过各地政府统计上报的数据进行合并&＃xff1b;机构都是权威的第三方网站。
  中华人民共和国国家统计局数据&＃xff1a;http://data.stats.gov.cn/
  世界银行公开数据&＃xff1a; https://data.worldbank.org.cn/
  纳斯达克股票市场&＃xff1a; http://www.nasdaq.com/zh
  联合国数据&＃xff1a; http://data.un.org/

• 第三方数据平台购买数据
  数据堂&＃xff1a;http://www.datatang.com/
  贵阳大数据交易所&＃xff1a;http://www.gbdex.com/website/
  iData&＃xff1a;http://www.idataapi.cn/
  数据智汇&＃xff1a;http://www.shujuzhihui.cn/apis

• 爬虫爬取数据&＃xff1a; 从互联网上定向采集数据。

爬虫

• 爬虫&＃xff1a;就是抓取网页数据的程序。
• 搜索引擎&＃xff1a; 百度&＃xff0c;谷歌
• 反爬虫和反反爬虫。
• 只要人能看到的&＃xff0c;爬虫都可以获取&＃xff0c; 反爬虫一定是爬虫胜利。

网络请求与响应

• 网络协议
• HTTP &＃xff1a; 超文本标记语言
• HTTP协议&＃xff08;Protocol&＃xff09; 是一种发布和接收 HTML页面的方法。
• HTTPS&＃xff08;Hypertext Transfer Protocol over Secure Socket Layer&＃xff09;简单讲是HTTP的安全版&＃xff0c;在HTTP下加入SSL层。
• SSL 安全套接&＃xff08;Socket&＃xff09;层
• HTTP 端口号&＃xff1a; 80
• HTTPS　端口号&＃xff1a;　443
• FTP SFTP &＃xff1a; 21 22
• Mysql 3306
• Fiddler 8888

HTTP通信

• 网址&＃xff08;域名&＃xff09; -》 DNS服务器 (网址与IP地址的映射)-》 IPv4地址 (283.22.11.33)。
• 由两部分组成&＃xff1a; 客户端请求消息 与 服务器响应消息
• URL &＃xff1a; 统一资源定位符
• 本格式&＃xff1a;scheme://host[:port#]/path/…/[?query-string][#anchor]
  scheme&＃xff1a;协议(例如&＃xff1a;http, https, ftp)
  host&＃xff1a;主机名&＃xff0c; 服务器的IP地址或者域名
  port#&＃xff1a;服务器的端口&＃xff08;如果是走协议默认端口&＃xff0c;缺省端口80&＃xff09;
  path&＃xff1a;访问资源的路径
  query-string&＃xff1a;参数&＃xff0c;发送给http服务器的数据
  anchor&＃xff1a;锚点&＃xff08;跳转到网页的指定锚点位置&＃xff09;

https://kuaibao.jd.com/article?id&＃61;223862561

http://api.vcaomao.com/#indexW

https://capital.iresearch.com.cn/index.html

HTTP请求报文

• http 报文结构

  • 请求方法&＃xff1a;
    • GET方法
    • POST方法

• Connection&＃xff1a;表示客户端与服务连接类型 keep-alive在很多情况下能够重用连接&＃xff0c;减少资源消耗&＃xff0c;缩短响应时间&＃xff0c;比如当浏览器需要多个文件时(比如一个HTML文件和相关的图形文件)&＃xff0c;不需要每次都去请求建立连接。

• Upgrade-Insecure-Requests&＃xff1a; 升级为HTTPS请求
  Upgrade-Insecure-Requests&＃xff1a;升级不安全的请求&＃xff0c;意思是会在加载 http 资源时自动替换成 https 请求&＃xff0c;让浏览器不再显示https页面中的http请求警报。

• 用户代理&＃xff08;客户端浏览器的名称&＃xff09;&＃xff1a; ******

  • User-Agent: Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36

• Accept &＃xff1a; 传输文件类型

• Referer &＃xff1a; 页面跳转处 表明产生请求的网页来自于哪个URL&＃xff0c;用户是从该 Referer页面访问到当前请求的页面。这个属性可以用来跟踪Web请求来自哪个页面&＃xff0c;是从什么网站来的等。

• Accept-Encoding&＃xff08;文件编解码格式&＃xff09;

• Accept-Language&＃xff08;语言种类&＃xff09;

• Accept-Charset&＃xff08;字符编码&＃xff09;

• COOKIE&＃xff1a;浏览器用这个属性向服务器发送COOKIE。COOKIE是在浏览器中寄存的小型数据体&＃xff0c;

• Content-Type &＃xff1a; POST请求里用来表示的内容类型。

HTTP 响应报文

• 响应状态码
  响应状态代码有三位数字组成&＃xff0c;第一个数字定义了响应的类别&＃xff0c;且有五种可能取值。
  常见状态码&＃xff1a;
  100~199&＃xff1a;表示服务器成功接收部分请求&＃xff0c;要求客户端继续提交其余请求才能完成整个处理过程。
  200~299&＃xff1a;表示服务器成功接收请求并已完成整个处理过程。常用200&＃xff08;OK 请求成功&＃xff09;。
  300~399&＃xff1a;为完成请求&＃xff0c;客户需进一步细化请求。例如&＃xff1a;请求的资源已经移动一个新地址、常用302&＃xff08;所请求的页面已经临时转移至新的url&＃xff09;、307和304&＃xff08;使用缓存资源&＃xff09;。
  400~499&＃xff1a;客户端的请求有错误&＃xff0c;常用404&＃xff08;服务器无法找到被请求的页面&＃xff09;、403&＃xff08;服务器拒绝访问&＃xff0c;权限不够&＃xff09;。
  500~599&＃xff1a;服务器端出现错误&＃xff0c;常用500&＃xff08;请求未完成。服务器遇到不可预知的情况&＃xff09;。

• Cache-Control / Pragma &＃xff1a; 服务端希不希望客户端缓存资源&＃xff0c;在下次请求资源时&＃xff0c;必须要从新请求服务器&＃xff0c;不能从缓存副本中获取资源。

• Connection&＃xff1a;keep-alive
  这个字段作为回应客户端的Connection

• Content-Encoding : 编解码格式

• Content-Type &＃xff1a; 接受的文件类型

• Date &＃xff1a; 服务端发送资源时的服务器时间

• Expires &＃xff1a; 过期时间 客户端在这个时间前&＃xff0c;可以直接访问缓存副本

• Server &＃xff1a; 服务器的版本

• Transfer-Encoding &＃xff1a; 是否分块发送

• Vary

urllib 库 原生库

• 网络请求库 requests
• get方法
  • url 网址
  • 请求头内容 headers {User-Agent必须加}
  • verify &＃61; False 忽略SSL安全认证
    response &＃61; requests.get(url,headers &＃61; headers, verify &＃61; False)
    print(response.content.decode(“utf8”))
  • 返回响应对象
  • response.url
  • response.text
  • response.encoding
• with 语句&＃xff1a;
  • with open() as f:
    • 语句

• 获取百度首页源代码&＃xff0c;并写入到一个html文件中。
• 获取任意关键词的百度搜索页&＃xff0c;任意起始页和结束页。 存入到html文件中
• 获取任意关键词的百度贴吧页&＃xff0c;任意起始页和结束页&＃xff0c; 存入到html文件中。