Python爬虫自动化，帮小姐姐解放双手！

项目来源&＃xff1a;

漂亮学姐因为工作需要&＃xff0c;得根据已有的学校名单&＃xff0c;采集它们的英文名称&＃xff0c;描述&＃xff0c;简称有的话也带上。共有 2740 条学校名称数据&＃xff0c;一条条去搜索得到结果&＃xff0c;然后复制粘贴到表格里&＃xff0c;一天下来估计人都傻了。

花几分钟写了个爬虫小程序&＃xff0c;帮助小姐姐解放了双手&＃xff0c;成功表现了一波&＃xff0c;学姐一阵夸奖&＃xff0c;还请我喝了一杯美式咖啡&＃xff0c;美滋滋。

分析问题

共有 2740 条学校名称数据

在百度百科中搜索清华大学看看

查看网页源代码&＃xff0c;可以惊喜的发现&＃xff0c;简要描述的数据羡显目地躺在开头&＃xff01;

经过分析可以发现&＃xff0c;网页结构简单&＃xff0c;可以通过构造URL请求&＃xff0c;获取网页源码&＃xff0c;然后从中提取我们想要的数据即可

爬虫代码

当当当&＃xff0c;下面该我们的爬虫上场了

导入需要用到的库

1. import requests

2. import pandas as pd

3. from random import choice

4. from lxml import etree

5. import openpyxl

6. import logging

基本配置参数

1. # 日志输出的基本配置

2. logging.basicConfig(level&＃61;logging.INFO, format&＃61;&＃39;%(asctime)s - %(levelname)s: %(message)s&＃39;)

3. wb &＃61; openpyxl.Workbook() # 创建工作簿对象

4. sheet &＃61; wb.active # 获取活动的工作表

5. sheet.append([&＃39;学校名称&＃39;, &＃39;中文简称&＃39;, &＃39;学校名称&＃xff08;英文&＃xff09;&＃39;, &＃39;描述&＃39;, &＃39;百度百科链接&＃39;]) # 添加第一行列名

6.  

7. # 产生随机请求头用于切换

8. user_agent &＃61; [

9. "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",

10. "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",

11. ......

12. "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"

13. ]

读取数据、爬取网页

1. # 读取已有的学校名称数据

2. df &＃61; pd.read_excel(&＃39;学校名称.xlsx&＃39;)[&＃39;学校名称&＃39;]

3. items &＃61; df.values

4.  

5. # 遍历 获取每所学校名称

6. for item in items:

7. try:

8. # 随机生成请求头

9. headers &＃61; {

10. &＃39;User-Agent&＃39;:choice(user_agent)

11. }

12. # 构造url

13. url &＃61; f&＃39;https://baike.baidu.com/item/{item}&＃39;

14. # 发送请求 获取响应

15. rep &＃61; requests.get(url, headers&＃61;headers)

16. # Xpath解析提取数据

17. html &＃61; etree.HTML(rep.text)

18. # 描述

19. description &＃61; &＃39;&＃39;.join(html.xpath(&＃39;/html/head/meta[4]/&＃64;content&＃39;))

20. # 外文名

21. en_name &＃61; &＃39;&＃xff0c;&＃39;.join(html.xpath(&＃39;//dl[&＃64;class&＃61;"basicInfo-block basicInfo-left"]/dd[2]/text()&＃39;)).strip()

22. # 中文简称 有的话 是在dd[3]标签下

23. simple_name &＃61; &＃39;&＃39;.join(html.xpath(&＃39;//dl[&＃64;class&＃61;"basicInfo-block basicInfo-left"]/dd[3]/text()&＃39;)).strip()

24. sheet.append([item, simple_name, en_name, url])

25. logging.info([item, simple_name, en_name, description, url])

26.  

27. except Exception as e:

28. logging.info(e.args)

29. pass

30.  

31. # 保存数据

32. wb.save(&＃39;成果.xlsx&＃39;)

运行效果如下&＃xff1a;

有 2740 页的数据需要请求爬取&＃xff0c;为了提高爬取效率&＃xff0c;可以使用多线程。

近期有很多朋友通过私信咨询有关Python学习问题。为便于交流&＃xff0c;点击蓝色自己加入讨论解答资源基地