爬虫学习笔记day02

Day02笔记
1、解析模块
  1、数据的分类
    1、结构化数据
      特点&＃xff1a;有固定的格式,如&＃xff1a;HTML、XML
    2、非结构化数据
      示例&＃xff1a;图片、音频、视频,这类数据以二进制方式存储
  2、正则表达式 re
    1、使用流程
      1、创建编译对象 &＃xff1a;p &＃61; re.compile(&＃39;正则表达式&＃39;)
      2、对字符串进行匹配 &＃xff1a;r &＃61; p.match(&＃39;字符串&＃39;)
      3、获取匹配结果     &＃xff1a;r.group()
    2、常用方法
      1、match(html) : 字符串开头的第1个,返回对象
      2、search(html): 从开始往后找,匹配第1个,返回对象
      3、findall(html) : 所有全部匹配,返回列表
    3、表达式
      .  : 匹配任意字符(不包括\n)
      \d : 数字
      \s : 空白字符
      \S : 非空白字符
      \w : 字母、数字、_
      [...] : 包含[]内容 &＃xff1a;A[BCD]E --> ABE ACE ADE 

      *  : 0次或多次
      ?  : 0次或1次
      &＃43;  : 1次或多次
      {m}: m次
      {m,n} : m-n次,  AB{1,3}C ->ABC ABBC ABBBC
    4、贪婪匹配和非贪婪匹配
      贪婪匹配(.*) : 在整个表达式匹配成功的前提下,尽可能多的匹配*
      非贪婪匹配(.*?) :在整个表达式匹配成功的前提下,尽可能少的匹配*
      见 &＃xff1a;01_贪婪匹配和非贪婪匹配示例.py
    5、findall()的分组
      见 &＃xff1a;02_findall分组示例.py
    6、练习 见&＃xff1a;03_findall分组练习.py
    

          
    
    第1步&＃xff1a;      
    [("tiger","Two tigers .."),("rabbit","Small rabbit...")]
    第2步&＃xff1a;
    动物名称&＃xff1a;tiger
    动物描述&＃xff1a;Two tigers ...
  3、内涵段子脑筋急转弯抓取 
    见&＃xff1a;04_内涵8脑筋急转弯.py
    网址 &＃xff1a;http://www.neihan8.com
    1、步骤
      1、找URL规律
        第1页&＃xff1a;https://www.neihan8.com/njjzw/
    第2页&＃xff1a;https://www.neihan8.com/njjzw/index_2.html
      2、用正则匹配出题目和答案
      3、写代码
        1、发请求
    2、用正则解析
      
    3、保存
  4、猫眼电影top100榜单,存到csv文件里
    见 &＃xff1a;06_猫眼电影top100.py
    网址 &＃xff1a;猫眼电影 - 榜单 - top100榜
    目标 &＃xff1a;抓取电影名、主演、上映时间
    1、知识点
      1、csv模块的使用流程
        1、打开csv文件
      with open("测试.csv","a",newline&＃61;"") as f:
    2、初始化写入对象
      writer &＃61; csv.writer(f)
    3、写入数据(列表)
      writer.writerow([列表])
    2、准备工作
      1、找URL规律
        第1页&＃xff1a;http://maoyan.com/board/4?offset&＃61;0
    第2页&＃xff1a;http://maoyan.com/board/4?offset&＃61;10
    第n页&＃xff1a;offset&＃61;(n-1)*10
      2、写正则表达式