Python开发【爬虫】入门

网络爬虫

1.爬虫是什么&＃xff1f;一段程序&＃xff08;一个脚本&＃xff09;
2.爬虫能干什么&＃xff1f;自动批量的采集所需要的资源
3.运行模式是什么&＃xff1f;模拟浏览器浏览网页
定义&＃xff1a;一个能够模拟浏览器浏览网页自动的采集所需要的资源的程序&＃xff08;脚本&＃xff09;
网路资源&＃xff1a;网络资源主要是指借助于网络环境可以利用的各种信息资源的总和。网络资源又称网络信息资源。
种类&＃xff1a;网页&＃xff0c;图片&＃xff0c;视频&＃xff0c;视频&＃xff0c;音频&＃xff0c;文件等。
网页请求方式&＃xff1a;客户端&＃xff08;浏览器&＃xff09;通过URL&＃xff08;统一资源定位符&＃xff09;来向服务器发送http请求&＃xff0c;服务器收到请求后向客户端发出http响应。客户端收到响应后通过网页界面形式展现出来。
爬虫的开发步骤&＃xff1a;1.目标数据:先明确需要从网络或者页面爬取的数据&＃xff08;资源&＃xff09;
2.分析数据加载流程&＃xff1a;分析目标数据对应的URL&＃xff0c;并提取出来&＃xff08;难点&＃xff09;
3.下载数据&＃xff08;将所需要的数据下载下来&＃xff0c;以便处理&＃xff09;
4.清洗&＃xff0c;处理数据
5.数据持久化
&＃xff08;难点在于分析目标数据URL&＃xff0c;并提取出来&＃xff0c;需要具有一定前端基础&＃xff09;
网页分析工具&＃xff1a;打开目标数据界面&＃xff0c;F12&＃xff0c;打开开发者工具&＃xff0c;刷新网页&＃xff0c;在Elements中即可看到网页的前端代码&＃xff0c;根据代码分析&＃xff1b;
在Network界面&＃xff0c;有Headers&＃xff0c;Resquents。COOKIEs等信息&＃xff0c;以便爬虫使用。