热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Day02爬虫学习入门第二天:正则,bs4,xpath,爬虫实战

虽然今天很累,但是其实也没有学很多东西,还是来整理一下,以免忘记,之后会自己去爬一些网站数据…今天主要学了bs4和xpath

虽然今天很累,但是其实也没有学很多东西,还是来整理一下,以免忘记,之后会自己去爬一些网站数据…
今天主要学了bs4和xpath,分为这两个部分来整理笔记:


文章目录

    • 1.bs4解析
    • 2.xpath解析


1.bs4解析


  • 为什么需要在爬虫中使用数据解析
    • 就是为了可以实现聚焦爬虫
  • 数据解析的通用原理(解析的数据指挥存在于标签之间或者属性中)
    • html是用来展示数据
    • 原理流程:
      • 标签定位
      • 数据的提取
  • bs4数据解析的解析原理/流程
    • 实例化一个BeautifulSoup的对象,且将等待被解析的数据加载到该对象中
      • 方式1:
        • BeautifulSoup(fp,‘lxml’) #解析本地存储的html文件
      • 方式2:
        • BeautifulSoup(page_text,‘lxml’) #解析互联网上请求到的页面数据
    • 调用BeautifulSoup对象中的相关方法和属性进行标签定位和数据的提取
      • 标签定位
        • soup.tagName:返回第一次出现的tagName标签
        • 属性定位:soup.find(‘tagName’,attrName=‘value’)
        • findALL和find的用法一样,但是返回值不同
        • 选择器定位:select(‘selector’)
      • 数据的提取
        • 提取标签中存在的数据
          • .string:取出标签直系的文本内容
          • .text:取出标签中所有的文本内容
        • 提取标签属性中存储的数据
          • tagName[‘attrName’]
  • 环境的安装:
    • pip install bs4
    • pip install lxml

直接用一个例子来看,使用bs4爬取某网站上面三国演义的内容,需要添加headers

### 使用bs4解析三国演义的内容
import requests
url = 'http://shicimingju.com/book/sanguoyanyi.html'
page_text = requests.get(url,headers=headers).text #首页的页面源码数据
fp = open('./sanguo.txt','w',encoding='utf-8')
#数据解析(章节标题,详情页的url)
soup = BeautifulSoup(page_text,'lxml')
#定位到了所有标题对应的a标签
a_list = soup.select('.book-mulu > ul > li >a') # >表示一个层级
for a in a_list:title = a.stringdetail_url = 'http://shicimingju.com'+a['href']#解析提取章节内容page_text_detail = requests.get(url=detail_url,headers=headers).text#解析详情页中的章节内容soup = BeautifulSoup(page_text_detail,'lxml')content = soup.find('div',class_='chapter_content').text#写入文件fp.write(title+':'+content+'\n')print(title,'下载成功')

2.xpath解析


  • html标签结构
    • 是一个树状的结构
  • xpath解析原理
    • 实例化一个etree对象,且将被解析的数据加载到该对象中
      • 解析本地存储的html文档:
        • etree.parse(‘fileName’)
      • 解析网上爬取的html数据:
        • etree.parse(page_text)
    • 使用etree对象中的xpath方法结合不同的xpath表达式实现标签定位和数据提取
      • 标签定位
        • 最左侧的/:必须要从根标签开始逐层的定位目标标签
        • 非最左侧的/:表示一个层级
        • 非最左侧的//:表示多个层级
        • 最左侧的//:可以从任意位置定义目标标签
        • 属性定位://tagName[@attrName=‘value’]
        • 索引定位://tagName[index],index索引从1开始
        • 模糊匹配
          • //div[contains(@class,“ng”)] :定位到class属性中包含ng的div标签
          • //div[starts-with[@class,“ta”]] :定位到clss属性值中是以ta开头的div标签
      • 数据提取
        • 取标签中的数据
          • /text():直系文本内容
          • //text():所有的文本内容
        • 取属性中的数据
          • tagName/@attrName

下面介绍爬取图片数据和图片名称并将其保存到本地的例子,需要添加headers

import requests
import os
dirName = 'img'
# if os.path.exists(dirName):
# os.mkdir(dirName)
url = 'http://pic.netbian.com/4kdongman/index_%d.html'
for page in range(1,6):if page == 1:new_url = 'http://pic.netbian.com/4kdongman/'else:new_url = format(url%page) #表示非第一页的urlresponse = requests.get(new_url,headers=headers)response.encoding='gbk'page_text = response.text
# page_text = requests.get(new_url,headers=headers).text#数据解析:图片地址和图片名称tree = etree.HTML(page_text)#定位到了所有的li标签li_list = tree.xpath('//div[@class="slist"]/ul/li')for li in li_list:img_src = 'http://pic.netbian.com'+li.xpath('./a/img/@src')[0] #局部的数据解析,./表示的就是xpath调用者对应的标签img_name = li.xpath('./a/img/@alt')[0]+'.jpg'
# print(img_src,img_name)img_data = requests.get(img_src,headers=headers).contentfilePath = dirName+'/'+img_namewith open(filePath,'wb') as fp:fp.write(img_data)print(img_name,'下载成功')

今天就先写这么多了…还没学tableau,/(ㄒoㄒ)/~~,要加油呀
在这里插入图片描述


推荐阅读
  • 技术分享:从动态网站提取站点密钥的解决方案
    本文探讨了如何从动态网站中提取站点密钥,特别是针对验证码(reCAPTCHA)的处理方法。通过结合Selenium和requests库,提供了详细的代码示例和优化建议。 ... [详细]
  • 本文详细介绍了如何使用Python编写爬虫程序,从豆瓣电影Top250页面抓取电影信息。文章涵盖了从基础的网页请求到处理反爬虫机制,再到多页数据抓取的全过程,并提供了完整的代码示例。 ... [详细]
  • 深入解析Spring Cloud Ribbon负载均衡机制
    本文详细介绍了Spring Cloud中的Ribbon组件如何实现服务调用的负载均衡。通过分析其工作原理、源码结构及配置方式,帮助读者理解Ribbon在分布式系统中的重要作用。 ... [详细]
  • Explore a common issue encountered when implementing an OAuth 1.0a API, specifically the inability to encode null objects and how to resolve it. ... [详细]
  • 1:有如下一段程序:packagea.b.c;publicclassTest{privatestaticinti0;publicintgetNext(){return ... [详细]
  • 使用 Azure Service Principal 和 Microsoft Graph API 获取 AAD 用户列表
    本文介绍了一段通用代码示例,该代码不仅能够操作 Azure Active Directory (AAD),还可以通过 Azure Service Principal 的授权访问和管理 Azure 订阅资源。Azure 的架构可以分为两个层级:AAD 和 Subscription。 ... [详细]
  • 本文详细介绍了Akka中的BackoffSupervisor机制,探讨其在处理持久化失败和Actor重启时的应用。通过具体示例,展示了如何配置和使用BackoffSupervisor以实现更细粒度的异常处理。 ... [详细]
  • DNN Community 和 Professional 版本的主要差异
    本文详细解析了 DotNetNuke (DNN) 的两种主要版本:Community 和 Professional。通过对比两者的功能和附加组件,帮助用户选择最适合其需求的版本。 ... [详细]
  • XNA 3.0 游戏编程:从 XML 文件加载数据
    本文介绍如何在 XNA 3.0 游戏项目中从 XML 文件加载数据。我们将探讨如何将 XML 数据序列化为二进制文件,并通过内容管道加载到游戏中。此外,还会涉及自定义类型读取器和写入器的实现。 ... [详细]
  • 本文介绍了如何通过 Maven 依赖引入 SQLiteJDBC 和 HikariCP 包,从而在 Java 应用中高效地连接和操作 SQLite 数据库。文章提供了详细的代码示例,并解释了每个步骤的实现细节。 ... [详细]
  • 根据最新发布的《互联网人才趋势报告》,尽管大量IT从业者已转向Python开发,但随着人工智能和大数据领域的迅猛发展,仍存在巨大的人才缺口。本文将详细介绍如何使用Python编写一个简单的爬虫程序,并提供完整的代码示例。 ... [详细]
  • 本题探讨了一种字符串变换方法,旨在判断两个给定的字符串是否可以通过特定的字母替换和位置交换操作相互转换。核心在于找到这些变换中的不变量,从而确定转换的可能性。 ... [详细]
  • 本文详细介绍了Java编程语言中的核心概念和常见面试问题,包括集合类、数据结构、线程处理、Java虚拟机(JVM)、HTTP协议以及Git操作等方面的内容。通过深入分析每个主题,帮助读者更好地理解Java的关键特性和最佳实践。 ... [详细]
  • 离线环境下的Python及其第三方库安装指南
    在项目开发中,有时会遇到电脑只能连接内网或完全无法联网的情况。本文将详细介绍如何在这种环境下安装Python及其所需的第三方库,确保开发工作的顺利进行。 ... [详细]
  • 从 .NET 转 Java 的自学之路:IO 流基础篇
    本文详细介绍了 Java 中的 IO 流,包括字节流和字符流的基本概念及其操作方式。探讨了如何处理不同类型的文件数据,并结合编码机制确保字符数据的正确读写。同时,文中还涵盖了装饰设计模式的应用,以及多种常见的 IO 操作实例。 ... [详细]
author-avatar
山间农夫的家
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有