python爬取数据写入文件_使用Python爬取网页数据，并写入Excel文件

自学Python的时候,在网上看见一篇比较简单的爬虫小项目,于是自己便也想跟着别人的代码来学一下.

看着这位博主的代码敲的以下代码,基本上都一致.

源代码网站: https://blog.csdn.net/markleacode/article/details/65639947

第一部分:根据URL进行数据的爬取

# -*-coding:utf-8-*-

import urllib2

import sys

from bs4 import BeautifulSoup

# 写入Excel表需要使用的库

from openpyxl import Workbook

reload(sys)

sys.setdefaultencoding(&＃39;utf-8&＃39;) # 设置系统默认编码

print sys.version # 打印当前版本信息

sys.setdefaultencoding(&＃39;utf-8&＃39;)

# 为了方便翻页将网址代码分成两部分

urlstart &＃61; &＃39;http://my.yingjiesheng.com/index.php/personal/xjhinfo.htm/?page&＃61;&＃39;

urlend &＃61; &＃39;&cid&＃61;&city&＃61;21&word&＃61;&province&＃61;0&schoolid&＃61;&sdate&＃61;&hyid&＃61;0&＃39;

setSQLData &＃61; []

# 爬取数据 总页数64,为了练习,就取20页

for i in range(1, 11):

url &＃61; urlstart &＃43; str(i) &＃43; urlend

print &＃39;正在打印:&＃39; &＃43; url;

request &＃61; urllib2.urlopen(url)

html &＃61; request.read()

bs &＃61; BeautifulSoup(html, &＃39;html.parser&＃39;, from_encoding&＃61;&＃39;utf-8&＃39;)

alllist1 &＃61; bs.find_all(&＃39;tr&＃39;, class_&＃61;&＃39;bg0&＃39;)

alllist2 &＃61; bs.find_all(&＃39;tr&＃39;, class_&＃61;&＃39;bg1&＃39;)

alllist &＃61; alllist1 &＃43; alllist2

# 对数据进行处理筛选

for contenttd in alllist:

month &＃61; contenttd.find(&＃39;td&＃39;, width&＃61;&＃39;120&＃39;).text

companyweb &＃61; contenttd.find(&＃39;td&＃39;, width&＃61;&＃39;250&＃39;).find(&＃39;a&＃39;).get(&＃39;href&＃39;)

if &＃39;http&＃39; not in companyweb:

companyweb &＃61; &＃39;http://my.yingjiesheng.com/&＃39; &＃43; str(companyweb)

companyName &＃61; contenttd.find(&＃39;td&＃39;, width&＃61;&＃39;250&＃39;).find(&＃39;a&＃39;).text

school &＃61; contenttd.find(&＃39;td&＃39;, width&＃61;&＃39;250&＃39;).next_sibling.next_sibling.text

classRoom &＃61; contenttd.find(&＃39;td&＃39;, width&＃61;&＃39;250&＃39;).next_sibling.next_sibling.next_sibling.next_sibling.text

row &＃61; [month, companyweb, companyName, school, classRoom]

setSQLData.append(row)#将每条数据再次写入列表

关于爬取数据这一块的代码的书写以及格式和逻辑都还需要继续优化,后边会边学边进行优化.

代码还有很多可优化之处.只做自己学习记录,大神请忽略(如果有可优化的地方,欢迎提出以方便新手的我学习)

第二部分:将爬取到的代码写入Excel文件

# 将数据写入Excel

wb &＃61; Workbook()

# 设置Excel文件名

dest_filename &＃61; &＃39;UserInfoFile.xlsx&＃39;

# 新建一个表

ws1 &＃61; wb.active

# 设置表头

titleList &＃61; [&＃39;时间&＃39;, &＃39;网址&＃39;, &＃39;招聘企业&＃39;, &＃39;学校&＃39;, &＃39;地址&＃39;]

for row in range(len(titleList)):

c &＃61; row &＃43; 1

ws1.cell(row&＃61;1, column&＃61;c, value&＃61;titleList[row])

# 填写表内容

for listIndex in range(len(setSQLData)):

ws1.append(setSQLData[listIndex])

wb.save(filename&＃61;dest_filename)

以上便是本次的代码和输出结果,有很多需要优化的地方,进行简单罗列一下

针对URL的请求,数据的获取,以及获取到数据之后的数据处理筛选,使用Python类库进行优化

以这些方法的功能进行函数封装,创建不用功能的函数进行相互调用来实现.和主函数调用,不同文件调用

Excel文件在写入的时候使用Python进行排版美化展示