一、一些基本的库

1、requests 库：

requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库，默认安装好python之后，是没有安装requests模块的，需要单独通过pip安装。

2、requests 库的一些基本函数：

                                                                  requests 库的网页请求函数

get方法，它能够获得url的请求，并返回一个response对象作为响应。

                                                                                 response对象的属性

                                                                              response对象的方法

（常见的HTTP状态码：200 - 请求成功，301 - 资源（网页等）被永久转移到其它URL，404 - 请求的资源（网页等）不存在，500 - 内部服务器错误)。

3、BeautifulSoup 库：

Beautiful Soup是python的一个HTML或XML的解析库，我们可以用它来方便的从网页中提取数据，它拥有强大的API和多样的解析方式。

二、我的第一个Python爬虫

1、运用 requests 库的 get() 函数访问 360搜索主页并打印相应的属性：

import requests
for i in range(20):
    r=requests.get("https://hao.360.com/")
    r.encoding='utf-8'
    print("第{}次爬取".format(i+1))
    print("返回状态：{}".format(r.status_code))
    print("网页内容的长度：{}".format(len(r.text)))
    print("text 的内容：{}".format(r.text))
    print("content 属性所返回的网页长度:{}".format(len(r.content)))

运行结果如下图：

 2、利用 BeautifulSoup 对一个简单的 HTML 页面保存为字符串进行操作：

html 文本为：

html='''






    
我得第一个标题
    
我得第一个段落。

        

    

        
row 1, cell 1
        
row 1, cell 2
    
    

        
row 2, cell 1
        
row 2, cell 2
    

'''

从html文本中获取soup：

from bs4 import BeautifulSoup
# 这里指定解析器为html.parser（python默认的解析器)
soup = BeautifulSoup(html,'html.parser')
printf(type(soup))
# 输出：

获取 head 内容：

print("head 标签内容和学号 后两位：",html.head,'学号后两位 18 ')

输出为：

获取 body 标签内容：

print("body 标签的内容：",soup.body)

输出为：

获取 id 为 frist 的标签对象：

first=soup.select('#first')
print("first 标签的内容：{}".format(first))
print(type(first))

输出为：

获取 html 页面的中文字符（采用正则表达式）：

import re
pat=re.compile(r'[\u4e00-\u9fa5]+')
result=pat.findall(html)

输出为：

以上就是我的第一个python爬虫程序。