python3.6爬取豆瓣读书《鱼王》前50条短评内容和平均分数

这里先获取平均分 ／／待续

打开网页
https://book.douban.com/subject/26853356/comments/
综合下一页可以知道：
后面的页码
https://book.douban.com/subject/26853356/comments/hot?p=2

<ul class="comment-paginator">
        <li class="p">
                <span class="page-disabled">第一页span>
        li>
        <li class="p">
                <span class="page-disabled">前一页span>
        li>
        <li class="p">
                <a class="page-btn" href="hot?p=2">后一页a>
        li>
ul>

# -*- coding: utf-8 -*-
""" 抽取某本书的前 50 条短评内容并计算评分的平均值 """
import requests
from bs4 import BeautifulSoup
import re
sum = 0
url = 'https://book.douban.com/subject/26853356/comments/'
pattern_s = re.compile(')#匹配分数的正则
p = []
while len(p) <50:
    r = requests.get(url)  # 豆瓣 《鱼王》短评
    soup = BeautifulSoup(r.text, 'lxml')  # 这里需要下载lxml包
    p.extend(re.findall(pattern_s, r.text))  # #返回列表
    btn = soup.find_all('a','page-btn',text="后一页") #下一页的url
    url += btn[0].attrs['href']#调试时，可以将btn打印出来看看详细，然后进一步打印btn[0].attrs···
for star in p:
    sum += int(star)
print("the average value is : {:.2f} ".format(sum/len(p)))

这里p.extend(re.findall(pattern_s, r.text))用了列表的extend函数:
用于2个列表顺序相加

>>>a = [1,2,3,4]
>>>b = [1,2,3,4,5]
>>>a.extend(b)
>>>a
[1, 2, 3, 4, 1, 2, 3, 4, 5]
>>> c = 'test'
>>> a.extend(c)
>>> a
[1, 2, 3, 4, 1, 2, 3, 4, 5, 't', 'e', 's', 't']
>>> c