Day02爬虫学习入门第二天:正则,bs4,xpath,爬虫实战

虽然今天很累&＃xff0c;但是其实也没有学很多东西&＃xff0c;还是来整理一下&＃xff0c;以免忘记&＃xff0c;之后会自己去爬一些网站数据…
今天主要学了bs4和xpath&＃xff0c;分为这两个部分来整理笔记&＃xff1a;

1.bs4解析

• 为什么需要在爬虫中使用数据解析
  • 就是为了可以实现聚焦爬虫
• 数据解析的通用原理&＃xff08;解析的数据指挥存在于标签之间或者属性中&＃xff09;
  • html是用来展示数据
  • 原理流程&＃xff1a;
    • 标签定位
    • 数据的提取
• bs4数据解析的解析原理/流程
  • 实例化一个BeautifulSoup的对象&＃xff0c;且将等待被解析的数据加载到该对象中
    • 方式1&＃xff1a;
      • BeautifulSoup(fp,‘lxml’) #解析本地存储的html文件
    • 方式2&＃xff1a;
      • BeautifulSoup(page_text,‘lxml’) #解析互联网上请求到的页面数据
  • 调用BeautifulSoup对象中的相关方法和属性进行标签定位和数据的提取
    • 标签定位
      • soup.tagName:返回第一次出现的tagName标签
      • 属性定位&＃xff1a;soup.find(‘tagName’,attrName&＃61;‘value’)
      • findALL和find的用法一样&＃xff0c;但是返回值不同
      • 选择器定位&＃xff1a;select(‘selector’)
    • 数据的提取
      • 提取标签中存在的数据
        • .string:取出标签直系的文本内容
        • .text:取出标签中所有的文本内容
      • 提取标签属性中存储的数据
        • tagName[‘attrName’]
• 环境的安装&＃xff1a;
  • pip install bs4
  • pip install lxml

直接用一个例子来看&＃xff0c;使用bs4爬取某网站上面三国演义的内容&＃xff0c;需要添加headers

### 使用bs4解析三国演义的内容
import requests
url &＃61; &＃39;http://shicimingju.com/book/sanguoyanyi.html&＃39;
page_text &＃61; requests.get(url,headers&＃61;headers).text #首页的页面源码数据
fp &＃61; open(&＃39;./sanguo.txt&＃39;,&＃39;w&＃39;,encoding&＃61;&＃39;utf-8&＃39;)
#数据解析(章节标题&＃xff0c;详情页的url)
soup &＃61; BeautifulSoup(page_text,&＃39;lxml&＃39;)
#定位到了所有标题对应的a标签
a_list &＃61; soup.select(&＃39;.book-mulu > ul > li >a&＃39;) # >表示一个层级
for a in a_list:title &＃61; a.stringdetail_url &＃61; &＃39;http://shicimingju.com&＃39;&＃43;a[&＃39;href&＃39;]#解析提取章节内容page_text_detail &＃61; requests.get(url&＃61;detail_url,headers&＃61;headers).text#解析详情页中的章节内容soup &＃61; BeautifulSoup(page_text_detail,&＃39;lxml&＃39;)content &＃61; soup.find(&＃39;div&＃39;,class_&＃61;&＃39;chapter_content&＃39;).text#写入文件fp.write(title&＃43;&＃39;:&＃39;&＃43;content&＃43;&＃39;\n&＃39;)print(title,&＃39;下载成功&＃39;)


2.xpath解析

• html标签结构
  • 是一个树状的结构
• xpath解析原理
  • 实例化一个etree对象&＃xff0c;且将被解析的数据加载到该对象中
    • 解析本地存储的html文档&＃xff1a;
      • etree.parse(‘fileName’)
    • 解析网上爬取的html数据&＃xff1a;
      • etree.parse(page_text)
  • 使用etree对象中的xpath方法结合不同的xpath表达式实现标签定位和数据提取
    • 标签定位
      • 最左侧的/&＃xff1a;必须要从根标签开始逐层的定位目标标签
      • 非最左侧的/&＃xff1a;表示一个层级
      • 非最左侧的//&＃xff1a;表示多个层级
      • 最左侧的//&＃xff1a;可以从任意位置定义目标标签
      • 属性定位&＃xff1a;//tagName[&＃64;attrName&＃61;‘value’]
      • 索引定位&＃xff1a;//tagName[index]&＃xff0c;index索引从1开始
      • 模糊匹配
        • //div[contains(&＃64;class,“ng”)] :定位到class属性中包含ng的div标签
        • //div[starts-with[&＃64;class,“ta”]] :定位到clss属性值中是以ta开头的div标签
    • 数据提取
      • 取标签中的数据
        • /text():直系文本内容
        • //text():所有的文本内容
      • 取属性中的数据
        • tagName/&＃64;attrName

下面介绍爬取图片数据和图片名称并将其保存到本地的例子&＃xff0c;需要添加headers

import requests
import os
dirName &＃61; &＃39;img&＃39;
# if os.path.exists(dirName):
# os.mkdir(dirName)
url &＃61; &＃39;http://pic.netbian.com/4kdongman/index_%d.html&＃39;
for page in range(1,6):if page &＃61;&＃61; 1:new_url &＃61; &＃39;http://pic.netbian.com/4kdongman/&＃39;else:new_url &＃61; format(url%page) #表示非第一页的urlresponse &＃61; requests.get(new_url,headers&＃61;headers)response.encoding&＃61;&＃39;gbk&＃39;page_text &＃61; response.text
# page_text &＃61; requests.get(new_url,headers&＃61;headers).text#数据解析&＃xff1a;图片地址和图片名称tree &＃61; etree.HTML(page_text)#定位到了所有的li标签li_list &＃61; tree.xpath(&＃39;//div[&＃64;class&＃61;"slist"]/ul/li&＃39;)for li in li_list:img_src &＃61; &＃39;http://pic.netbian.com&＃39;&＃43;li.xpath(&＃39;./a/img/&＃64;src&＃39;)[0] #局部的数据解析&＃xff0c;./表示的就是xpath调用者对应的标签img_name &＃61; li.xpath(&＃39;./a/img/&＃64;alt&＃39;)[0]&＃43;&＃39;.jpg&＃39;
# print(img_src,img_name)img_data &＃61; requests.get(img_src,headers&＃61;headers).contentfilePath &＃61; dirName&＃43;&＃39;/&＃39;&＃43;img_namewith open(filePath,&＃39;wb&＃39;) as fp:fp.write(img_data)print(img_name,&＃39;下载成功&＃39;)


今天就先写这么多了…还没学tableau&＃xff0c;/(ㄒoㄒ)/~~&＃xff0c;要加油呀