热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

python3[爬虫基础入门实战]爬取豆瓣电影排行top250

先来张爬取结果的截图再来份代码吧#encodingutf8importrequestsimportrefrombs4importBeautifulSo

先来张爬取结果的截图

爬取豆瓣结果

再来份代码吧

# encoding=utf8
import requests
import re
from bs4 import BeautifulSoup
from tkinter import scrolledtext # 导入滚动文本框的模块

from tkinter import ttk
import tkinter as tk

import threading


# 获取网页内容
def getHtml(ID):
url = 'https://movie.douban.com/top250?start=%s&filter=' % ID
print('url ' + url)
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.2372.400 QQBrowser/9.5.10548.400'
,
'COOKIE': 'bid=I0klBiKF3nQ; ll="118277"; gr_user_id=ffdf2f63-ec37-49b5-99e8-0e0d28741172; ap=1; _vwo_uuid_v2=8C5B24903B1D1D3886FE478B91C5DE97|7eac18658e7fecbbf3798b88cfcf6113; _pk_ref.100001.4cf6=%5B%22%22%2C%22%22%2C1498305874%2C%22https%3A%2F%2Fbook.douban.com%2Ftag%2F%25E9%259A%258F%25E7%25AC%2594%3Fstart%3D20%26type%3DT%22%5D; _pk_id.100001.4cf6=4e61f4192b9486a8.1485672092.5.1498306809.1498235389.; _pk_ses.100001.4cf6=*'

}
req = requests.get(url, headers)
return req.text


# 解析网页并且获取相应内容
def parseHtml(html):
# soup = BeautifulSoup(html,'lxml') # 现在改为用正则
print('init html.....')
# print(html)

# 1 取出title
# titleRe = r'(.*?)'
titleRe = r'(.[^&]*?)' # 这里除去了副标题,(根据  空格号进行筛选)
regTitle = re.compile(titleRe)
titleStr = re.findall(regTitle, html)
# print(titleStr)
# for verTitle in titleStr:
# print(verTitle)


# 2 取出评分
retStars = r'.*?"v:average">(.*?)'
regStars = re.compile(retStars)
starts = re.findall(regStars, html)
# print(starts)

# 取出评价
regCommend = r'(.*?)'
regCommends = re.compile(regCommend)
commends = []
commends = re.findall(regCommends, html)
# print(commends)
commends.remove('·')
commends.remove('更多')
commends.remove('{{= year}}')
commends.remove('{{= sub_title}}')
commends.remove('{{= address}}')
commends.remove('集数未知')
commends.remove('共{{= episode}}集')
# print(commends)

# 取出导演,剧情(未实现)
# regDoc= r'.*?

(.*?)
'
# regxDoc = re.compile(regDoc)
# list_doc = re.findall(regxDoc,html)
# print(list_doc)
# print('*'*40)

# 片言(未实现)
# regAction = r'

.*?
(.*?)

'

# regx_action = re.compile(regAction)
# list_action = re.findall(regx_action,html)
# print(list_action)

# 取出引言 希望让人自由
regScrip = r'.*?"inq">(.*?)'
regx_scrip = re.compile(regScrip)
list_scrip = re.findall(regx_scrip, html)
# print(list_scrip)

# 取出图片地址(未实现)
# regImg = r'
.*?src= "(.*?)"'
# regx_img = re.compile(regImg)
# list_imgaddress = re.findall(regx_img,html)
# print(list_imgaddress)

ver_info = list(zip(titleStr, commends, list_scrip))
return ver_info


# html = getHtml(0)
# ver_infos = parseHtml(html)
# print(ver_infos)


def write():
print('开始爬取内容')
ID = 0
nums = 0
while ID <250:
html = getHtml(ID)
ver_infos = parseHtml(html)
ID += 25
for ver in ver_infos:
varStr = 'No.%d\t%-30s%s\t(描述:)%-30s' % (nums, ver[0], ver[1],ver[2])
print(varStr)
nums += 1
print('爬取成功'+str(nums))
def start():
print('start init ....')
t1 = threading.Thread(target=write())
t1.start()

start()
# 以下方法丢弃
# def save():
# print('save init ...')
# cOntent= name.get()
# textFile = open(u'C:\\豆瓣电影排行250.txt')
# textFile.write(content)
# textFile.close()
#
# print('^'*40)
# win = tk.Tk()
# win.title('呵呵呵')
#
# # 滚动文本框
# scrolW = 30 # 设置文本框的长度
# scrolH = 3 # 设置文本框的高度
# scr = scrolledtext.ScrolledText(win, hljs-comment"># scr.grid(column=0, columnspan=3)
#
# # 文本框
# name = tk.StringVar() # StringVar是Tk库内部定义的字符串变量类型,在这里用于管理部件上面的字符;不过一般用在按钮button上。改变StringVar,按钮上的文字也随之改变。
# nameEntered = ttk.Entry(win, hljs-comment"># nameEntered.grid(column=0, row=4) # 设置其在界面中出现的位置 column代表列 row 代表行
# nameEntered.focus() # 当程序运行时,光标默认会出现在该文本框中
#
# # 添加开始按钮
# start = ttk.Button(win,text='开始',command=start())
# start.grid(column=0,row=0) #按钮的添加位置
#
# # 保存按钮
# save = ttk.Button(win,text='保存',command=save())
# save.grid(column=1,row=0)
#
# win.mainloop()


这次用的是正则来获取内容的,有两个字段在正则上卡住了, 问了群里也没有人回,就暂且写到这吧。 还是获取的静态html的页面。

遇到的知识点:

  1. 正则的简单写法:例如 regCommend = r'(.*?)'
  # 取出引言 希望让人自由
regScrip = r'.*?"inq">(.*?)'
  1. 集合的去掉不要的元素:
    commends.remove('·')
commends.remove('更多')
commends.remove('{{= year}}')
commends.remove('{{= sub_title}}')
commends.remove('{{= address}}')
commends.remove('集数未知')
commends.remove('共{{= episode}}集')
  1. 整理成一条信息:
 ver_info = list(zip(titleStr, commends, list_scrip))
  1. 用了一个线程爬取,我也不知道这是单线程爬取,反正是第一次加入吧。
    t1 = threading.Thread(target=write())
t1.start()
  1. 今天晚上用的最多的时间是GUI方面

过程:

本来数据在正则那稍微花了点时间,但是在GUI方面花的却是很长时间,搞的自己蒙圈了。在这里应该给自己提一个醒,东西一次性不要学太多,一个一个慢慢的学 虽然 一次性学的东西不会很多,但是学的印象会深刻很多。所以,归总一下,这次学的算是上面的几点吧,主要是现在是敢要正则这玩意了, 虽然用的很浅,但是,现在是对python3 不那么陌生。之前是一个都搞不出来。现在是稍微有点 入门的感觉,离自己想要的还有很长很长的路啊。。

总结:

下次练习,我也暂时不知道做什么,这些例子都是从网上给照过来的, 然后自己稍微跟着自己的感觉走一下,网上找的例子也不知道是2.x 还是3.x的,结果到后来才发现, 是2.x 的, 只是感觉蛋疼。无语。今晚虽然花的时间比较多,但是效果还是挺不错的。好好学习,加把劲。

喜欢的可以给我点个赞,让我知道你也因为你的梦想路过这里。


推荐阅读
  • Python爬取豆瓣数据实现过程解析
    这篇文章主要介绍了Python爬取豆瓣数据实现过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值, ... [详细]
  • Python瓦片图下载、合并、绘图、标记的代码示例
    本文提供了Python瓦片图下载、合并、绘图、标记的代码示例,包括下载代码、多线程下载、图像处理等功能。通过参考geoserver,使用PIL、cv2、numpy、gdal、osr等库实现了瓦片图的下载、合并、绘图和标记功能。代码示例详细介绍了各个功能的实现方法,供读者参考使用。 ... [详细]
  • 最近在学Python,看了不少资料、视频,对爬虫比较感兴趣,爬过了网页文字、图片、视频。文字就不说了直接从网页上去根据标签分离出来就好了。图片和视频则需要在获取到相应的链接之后取做下载。以下是图片和视 ... [详细]
  • CSS3选择器的使用方法详解,提高Web开发效率和精准度
    本文详细介绍了CSS3新增的选择器方法,包括属性选择器的使用。通过CSS3选择器,可以提高Web开发的效率和精准度,使得查找元素更加方便和快捷。同时,本文还对属性选择器的各种用法进行了详细解释,并给出了相应的代码示例。通过学习本文,读者可以更好地掌握CSS3选择器的使用方法,提升自己的Web开发能力。 ... [详细]
  • android listview OnItemClickListener失效原因
    最近在做listview时发现OnItemClickListener失效的问题,经过查找发现是因为button的原因。不仅listitem中存在button会影响OnItemClickListener事件的失效,还会导致单击后listview每个item的背景改变,使得item中的所有有关焦点的事件都失效。本文给出了一个范例来说明这种情况,并提供了解决方法。 ... [详细]
  • Html5-Canvas实现简易的抽奖转盘效果
    本文介绍了如何使用Html5和Canvas标签来实现简易的抽奖转盘效果,同时使用了jQueryRotate.js旋转插件。文章中给出了主要的html和css代码,并展示了实现的基本效果。 ... [详细]
  • 本文介绍了Cocos2dx学习笔记中的更新函数scheduleUpdate、进度计时器CCProgressTo和滚动视图CCScrollView的用法。详细介绍了scheduleUpdate函数的作用和使用方法,以及schedule函数的区别。同时,还提供了相关的代码示例。 ... [详细]
  • 本文整理了常用的CSS属性及用法,包括背景属性、边框属性、尺寸属性、可伸缩框属性、字体属性和文本属性等,方便开发者查阅和使用。 ... [详细]
  • 工作经验谈之-让百度地图API调用数据库内容 及详解
    这段时间,所在项目中要用到的一个模块,就是让数据库中的内容在百度地图上展现出来,如经纬度。主要实现以下几点功能:1.读取数据库中的经纬度值在百度上标注出来。2.点击标注弹出对应信息。3 ... [详细]
  • css元素可拖动,如何使用CSS禁止元素拖拽?
    一、用户行为三剑客以下3个CSS属性:user-select属性可以设置是否允许用户选择页面中的图文内容;user-modify属性可以设置是否允许输入 ... [详细]
  • html结构 ... [详细]
  • java.lang.Class.getDeclaredMethod()方法java.lang.Class.getDeclaredMethod()方法用法实例教程-方法返回一个Met ... [详细]
  • 文章目录简介HTTP请求过程HTTP状态码含义HTTP头部信息Cookie状态管理HTTP请求方式简介HTTP协议(超文本传输协议)是用于从WWW服务 ... [详细]
  • 前端提高篇(七十):SVG基本使用、基本样式、路径path
    SVG是使用XML来描述二维图形和绘图程序的语言。SVG遵循的是xml的规范,与html5的使用有所区别SVG绘制出来的是矢量图,放大之后不会失真官方文 ... [详细]
  • Scrapy 爬取图片
    1.创建Scrapy项目scrapystartprojectCrawlMeiziTuscrapygenspiderMeiziTuSpiderhttps:movie.douban.c ... [详细]
author-avatar
手机用户2602906305_849
这个家伙很懒,什么也没留下!
Tags | 热门标签
RankList | 热门文章
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有