如何使用python爬虫爬取大学排名信息

这篇文章将为大家详细讲解有关如何使用python爬虫爬取大学排名信息，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

2. 这次爬取的网址请搜索“阿凡题”（纯技术讨论）

“阿凡题”（纯技术讨论）

3. 在该网址选择查院校，其他都是默认

4. 这次爬取的信息主要是下图红框的内容，在浏览器开发者中，点击XHR就可以发现这个接口，接口的内容都有我们需要的信息。

5. 先构建请求头，请求头直接复制过来了

# 构建请求头

headers = {

    &＃39;Accept&＃39;: &＃39;*/*&＃39;,

    &＃39;Accept-Encoding&＃39;: &＃39;gzip, deflate&＃39;,

    &＃39;Accept-Language&＃39;: &＃39;zh-CN,zh;q=0.9&＃39;,

    &＃39;Connection&＃39;: &＃39;keep-alive&＃39;,

    &＃39;contentType&＃39;: &＃39;application/x-www-form-urlencoded; charset=utf-8&＃39;,

    &＃39;COOKIE&＃39;: &＃39;cfm-major=true&＃39;,

    &＃39;Host&＃39;: &＃39;gaokao.afanti100.com&＃39;,

    &＃39;media&＃39;: &＃39;PC&＃39;,

    &＃39;Referer&＃39;: &＃39;http://gaokao.afanti100.com/university.html&＃39;,

    &＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36&＃39;,

    &＃39;X-Requested-With&＃39;: &＃39;XMLHttpRequest&＃39;,

}

6. 接下来先请求这条url，通过format方法实现对url的拼接，以此达到翻页的效果，通过查看接口的内容，发现是json格式，大学的信息在data键中的university_lst中，因此我们需要取出这个键，其中university_lst是列表。

def get_index():

    page = 1

    while True:

        if page > 188:

            break

        url = &＃39;http://gaokao.afanti100.com/api/v1/universities/?degree_level=0&directed_by=0&＃39; \

              &＃39;&university_type=0&location_province=0&speciality=0&page={}&＃39;.format(page)

        # page自增一实现翻页

        page += 1

        # 请求url并返回的是json格式

        resp = requests.get(url, headers=headers).json()

        # 取出大学所在的键值对

        university_lsts = resp.get(&＃39;data&＃39;).get(&＃39;university_lst&＃39;)

        if university_lsts:

            get_info(university_lsts)

        else:

            continue

7. 通过上一步取出键值对之后，就可以遍历列表取出我们想要的信息。

def get_info(university_lsts):

    # 判断列表是否不为空

    if university_lsts:

        # 遍历列表取出每个大学的信息

        for university_lst in university_lsts:

            # 声明一个字典存储数据

            data_dict = {}

            # 大学名字

            data_dict[&＃39;name&＃39;] = university_lst.get(&＃39;name&＃39;)

            # 大学排名

            data_dict[&＃39;ranking&＃39;] = university_lst.get(&＃39;ranking&＃39;)

            # 大学标签

            data_dict[&＃39;tag_lst&＃39;] = university_lst.get(&＃39;tag_lst&＃39;)

            # 大学重点学科

            data_dict[&＃39;key_major_count&＃39;] = university_lst.get(&＃39;key_major_count&＃39;)

            # 硕士点数

            data_dict[&＃39;graduate_program_count&＃39;] = university_lst.get(&＃39;graduate_program_count&＃39;)

            # 博士点数

            data_dict[&＃39;doctoral_program_count&＃39;] = university_lst.get(&＃39;doctoral_program_count&＃39;)

            # 是否211

            data_dict[&＃39;is_211&＃39;] = university_lst.get(&＃39;is_211&＃39;)

            # 是否985

            data_dict[&＃39;is_985&＃39;] = university_lst.get(&＃39;is_985&＃39;)

            # 哪个省

            data_dict[&＃39;location_province&＃39;] = university_lst.get(&＃39;location_province&＃39;)

            # 哪个城市

            data_dict[&＃39;location_city&＃39;] = university_lst.get(&＃39;location_city&＃39;)

            # 大学类型

            data_dict[&＃39;university_type&＃39;] = university_lst.get(&＃39;university_type&＃39;)

            data_list.append(data_dict)

            print(data_dict)

8. 最后将信息存储为文件

def save_file():

    # 将数据存储为json文件

    with open(&＃39;大学排名信息.json&＃39;, &＃39;w&＃39;, encoding=&＃39;utf-8&＃39;) as f:

        json.dump(data_list, f, ensure_ascii=False, indent=4)

    print(&＃39;json文件保存成功&＃39;)

    # 将数据存储为csv文件

    # 表头

    title = data_list[0].keys()

    with open(&＃39;大学排名信息.csv&＃39;, &＃39;w&＃39;, encoding=&＃39;utf-8&＃39;, newline=&＃39;&＃39;) as f:

        writer = csv.DictWriter(f, title)

        # 写入表头

        writer.writeheader()

        # 写入数据

        writer.writerows(data_list)

    print(&＃39;csv文件保存成功&＃39;)

9. 这次爬虫很简单，新手可以用来练练手，全部代码附上

import requests

import json

import csv

# 构建请求头

headers = {

    &＃39;Accept&＃39;: &＃39;*/*&＃39;,

    &＃39;Accept-Encoding&＃39;: &＃39;gzip, deflate&＃39;,

    &＃39;Accept-Language&＃39;: &＃39;zh-CN,zh;q=0.9&＃39;,

    &＃39;Connection&＃39;: &＃39;keep-alive&＃39;,

    &＃39;contentType&＃39;: &＃39;application/x-www-form-urlencoded; charset=utf-8&＃39;,

    &＃39;COOKIE&＃39;: &＃39;cfm-major=true&＃39;,

    &＃39;Host&＃39;: &＃39;gaokao.afanti100.com&＃39;,

    &＃39;media&＃39;: &＃39;PC&＃39;,

    &＃39;Referer&＃39;: &＃39;http://gaokao.afanti100.com/university.html&＃39;,

    &＃39;User-Agent&＃39;: &＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36&＃39;,

    &＃39;X-Requested-With&＃39;: &＃39;XMLHttpRequest&＃39;,

}

# 声明一个列表存储字典

data_list = []

def get_index():

    page = 1

    while True:

        if page > 188:

            break

        url = &＃39;http://gaokao.afanti100.com/api/v1/universities/?degree_level=0&directed_by=0&＃39; \

              &＃39;&university_type=0&location_province=0&speciality=0&page={}&＃39;.format(page)

        # page自增一实现翻页

        page += 1

        # 请求url并返回的是json格式

        resp = requests.get(url, headers=headers).json()

        # 取出大学所在的键值对

        university_lsts = resp.get(&＃39;data&＃39;).get(&＃39;university_lst&＃39;)

        if university_lsts:

            get_info(university_lsts)

        else:

            continue

def get_info(university_lsts):

    # 判断列表是否不为空

    if university_lsts:

        # 遍历列表取出每个大学的信息

        for university_lst in university_lsts:

            # 声明一个字典存储数据

            data_dict = {}

            # 大学名字

            data_dict[&＃39;name&＃39;] = university_lst.get(&＃39;name&＃39;)

            # 大学排名

            data_dict[&＃39;ranking&＃39;] = university_lst.get(&＃39;ranking&＃39;)

            # 大学标签

            data_dict[&＃39;tag_lst&＃39;] = university_lst.get(&＃39;tag_lst&＃39;)

            # 大学重点学科

            data_dict[&＃39;key_major_count&＃39;] = university_lst.get(&＃39;key_major_count&＃39;)

            # 硕士点数

            data_dict[&＃39;graduate_program_count&＃39;] = university_lst.get(&＃39;graduate_program_count&＃39;)

            # 博士点数

            data_dict[&＃39;doctoral_program_count&＃39;] = university_lst.get(&＃39;doctoral_program_count&＃39;)

            # 是否211

            data_dict[&＃39;is_211&＃39;] = university_lst.get(&＃39;is_211&＃39;)

            # 是否985

            data_dict[&＃39;is_985&＃39;] = university_lst.get(&＃39;is_985&＃39;)

            # 哪个省

            data_dict[&＃39;location_province&＃39;] = university_lst.get(&＃39;location_province&＃39;)

            # 哪个城市

            data_dict[&＃39;location_city&＃39;] = university_lst.get(&＃39;location_city&＃39;)

            # 大学类型

            data_dict[&＃39;university_type&＃39;] = university_lst.get(&＃39;university_type&＃39;)

            data_list.append(data_dict)

            print(data_dict)

def save_file():

    # 将数据存储为json文件

    with open(&＃39;大学排名信息.json&＃39;, &＃39;w&＃39;, encoding=&＃39;utf-8&＃39;) as f:

        json.dump(data_list, f, ensure_ascii=False, indent=4)

    print(&＃39;json文件保存成功&＃39;)

    # 将数据存储为csv文件

    # 表头

    title = data_list[0].keys()

    with open(&＃39;大学排名信息.csv&＃39;, &＃39;w&＃39;, encoding=&＃39;utf-8&＃39;, newline=&＃39;&＃39;) as f:

        writer = csv.DictWriter(f, title)

        # 写入表头

        writer.writeheader()

        # 写入数据

        writer.writerows(data_list)

    print(&＃39;csv文件保存成功&＃39;)

def main():

    get_index()

    save_file()

if __name__ == &＃39;__main__&＃39;:

    main()

关于“如何使用python爬虫爬取大学排名信息”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。