Python抓取优酷视频&＃xff08;上&＃xff09;&＃xff1a;爬虫使用及数据处理 - littlebai - 博客园

随笔- 5 
文章- 0 
评论- 14 

 

Python抓取优酷视频&＃xff08;上&＃xff09;&＃xff1a;爬虫使用及数据处理

缘起&＃xff1a;

上篇因为工作需要&＃xff08;就是把腾讯新闻copy到单位自己网站上去每天15条更新&＃xff09;所以写了一个抓取腾讯新闻的python小脚本

这次是因为想用手机看youku视频&＃xff0c;比如xiaoy的魔兽解说&＃xff0c;但是打开浏览器输入game.youku.com的时候&＃xff0c;三星9003太不

给力&＃xff0c;因而需要一个打开速度快的目录小网站。

思路&＃xff1a;

1.数据表设计&＃xff1a;

id(int),                    //主键自增

title(varchar 50),    //速度优先&＃xff0c;只需要title&＃xff0c;不需要图片

href(varchar 50),   //视频播放地址

date(varchar 25),  //采集的date中有如“1小时前”&＃xff0c;因此也设计成varchar

2.采集函数设计&＃xff1a;

视频列表页url &＃61; http://i.youku.com/u/UMTE0NDEzOTky/videos/order_1_view_1_page_id (id &＃61;1,2...)

每页视频个数为20&＃xff0c;采集内容为title,href,date&＃xff0c;优酷的html很规整&＃xff0c;因此正则提取很好写&＃xff0c;详见代码。

3.采集流程及入库&＃xff1a;

采用多线程采集&＃xff0c;开9个进程&＃xff0c;每个进程提取一个列表页20个视频&＃xff0c;总共采集180个视频&＃xff0c;如果想全站采集的话修改即可。

数据库采用mysql&＃xff0c;如何使python支持mysql详见Python网站建设&＃xff0c;因为是多线程所以在插入数据的时候需要资源锁。

关于python多线程thread以及资源锁&＃xff0c;可以参照Python模块学习。

代码&＃xff1a;

1 #!/usr/bin/env python
2 #coding&＃61;utf-8
3 import urllib2
4 import re
5 import MySQLdb
6 import thread
7 import time
8 #创建锁&＃xff0c;用于访问数据库
9 lock &＃61; thread.allocate_lock()
10 #抓取函数
11 def fetch(id&＃61;1,debug&＃61;False):
12 urlbase &＃61; &＃39;http://i.youku.com/u/UMTE0NDEzOTky/videos/&＃39;
13 url &＃61; urlbase &＃43; &＃39;order_1_view_1_page_&＃39; &＃43; str(id) &＃43; &＃39;/&＃39;
14 res &＃61; urllib2.urlopen(url).read()
15 abstarct &＃61; re.compile(r&＃39;

&＃39;,re.DOTALL).findall(res)
16
17 vid_list &＃61; []
18 for i in range(0,len(abstarct)):
19 title &＃61; re.compile(r&＃39;title&＃61;"(.*?)"&＃39;,re.DOTALL).findall(abstarct[i])
20 href &＃61; re.compile(r&＃39;href&＃61;"(.*?)"&＃39;,re.DOTALL).findall(abstarct[i])
21 date &＃61; re.compile(r&＃39;(.*?)&＃39;,re.DOTALL).findall(abstarct[i])
22 if debug &＃61;&＃61; True:
23 print title[0]&＃43;href[0]&＃43;date[0]
24 vid &＃61; {
25 &＃39;title&＃39; : title[0],
26 &＃39;href&＃39; : href[0],
27 &＃39;date&＃39; : date[0]
28 }
29 vid_list.append(vid)
30 #print thread.get_ident()
31 return vid_list
32 #插入数据库
33 def insert_db(page):
34 global lock
35 #执行抓取函数
36 vid_date &＃61; fetch(page,False)
37 sql &＃61; "insert into ykgame (title,href,date) values (%s,%s,%s)"
38 #插入数据&＃xff0c;一页20条
39 for i in range(0,len(vid_date)):
40 param &＃61; (vid_date[i][&＃39;title&＃39;],vid_date[i][&＃39;href&＃39;],
41 vid_date[i][&＃39;date&＃39;])
42 lock.acquire() #创建锁
43 cursor.execute(sql,param)
44 conn.commit()
45 lock.release() #释放锁
46
47 if __name__ &＃61;&＃61; "__main__":
48 #连接数据库
49 conn &＃61; MySQLdb.connect(host&＃61;"localhost",user&＃61;"root",
50 passwd&＃61;"root",db&＃61;"python_test",charset&＃61;"utf8")
51 cursor &＃61; conn.cursor()
52 conn.select_db(&＃39;python_test&＃39;)
53 #创建表
54 sql &＃61; "CREATE TABLE IF NOT EXISTS \
55 ykgame(id int PRIMARY KEY AUTO_INCREMENT, title varchar(50), \
56 href varchar(50), date varchar(25))"
57 cursor.execute(sql)
58 #插入数据库
59 for i in range(1,10):
60 thread.start_new_thread(insert_db,(i,))
61 print &＃39;采集中...&＃39;
62 time.sleep(3)
63 #关闭数据库
64 cursor.close()
65 conn.close()

说明&＃xff1a;

urllib2模块&＃xff1a;进行网页内容抓取

re模块&＃xff1a;进行正则表达式提取

MySQLdb模块&＃xff1a;mysql操作

thread模块&＃xff1a;多线程操作

time模块&＃xff1a;time.sleep(3)

遇到的问题&＃xff1a;

1.mysql中文乱码&＃xff1a;问题比较复杂&＃xff0c;通用解决办法如下

程序中只要在开头写好&＃xff1a;#coding&＃61;utf-8

连接数据库的时候设置编码方式&＃xff1a;conn&＃61;MySQLdb.connect(host&＃61;"127.0.0.1",user&＃61;"webdb",passwd&＃61;"web123",db&＃61;"web",charset&＃61;"utf8")

      对于采集来的中文字符串&＃xff0c;可以编码转换后插入str &＃61; str.decode("gbk").encode("utf-8")

 

2.Warning: Data truncated for column &＃39;href&＃39; at row 1

原因&＃xff1a;href 数据库中为 varchar(25)&＃xff0c;而实际长度>25

解决办法&＃xff1a;将href 数库中改为 varchar(50)

 

3.多线程问题&＃xff1a;现象混乱有时候无报错&＃xff0c;注意事项如下

使用相同资源是需要用资源锁&＃xff0c;不然出现异常

线程处理时间短时&＃xff0c;启用线程后加time.sleep(3)