「Python」纯干货，5000字的博文教你采集整站小说（附源码）

大家好我叫善念&＃xff0c;这是我的第二篇技术博文&＃xff08;第一篇讲述的是自己的经历&＃xff09;&＃xff0c;连续三天更新了&＃xff0c;每天花两小时写下一个实战案例&＃xff0c;我也是乐在其中&＃xff0c;谢谢大家对我的支持。

今天咱们要做的是利用Python爬取整个网站上的所有小说内容&＃xff0c;其实在我心里面&＃xff0c;采集什么内容根本无关紧要&＃xff0c;最重要的是大家能学习到我的分析思路&＃xff0c;授人以鱼不如授人以渔。

既然是要采集整站数据&＃xff0c;那么我们进入目标网站&＃xff0c;点击全部作品。

第一步右键一下查看网站源代码&＃xff0c;看里面是否有咱们需要的书本源头文件地址&＃xff08;当然是看源头文件地址&＃xff0c;因为一本书的内容这么大&＃xff0c;然后一页有这么多本书&＃xff0c;肯定不可能内容全部在源代码中&＃xff09;。

​

可以看到我在元素中可以找到书的名字和介绍&＃xff0c;然后关键的是一个跳转的网址&＃xff0c;这个网址很关键&＃xff0c;因为咱们点击这个链接后他会跳到单本小说中。

​

而单本小说里面势必会有章节分类&＃xff0c;而我们要做的肯定是需要把每本小说的章节名字也采集下来。

最终的目的就是&＃xff0c;每本小说为一个文件夹&＃xff0c;以书的名字命名&＃xff0c;然后文件夹内保存所有章节&＃xff0c;每一个章节为一个txt文档&＃xff0c;没一个章节名与txt文件名对应。

反转&＃xff0c;切记不要以element作为源代码去考虑问题&＃xff01;&＃xff01;element可能是浏览器执行了一些Javascript后所展现的源码&＃xff0c;与服务器传给浏览器的源代码是有所不同的。

所以咱们还是需要在源代码中找一找是否有跳转链接和书名。

​

好吧&＃xff0c;源代码中也是有的。不过你们不能大意&＃xff0c;一定要查看源代码中是否有&＃xff0c;element代表不了源代码。

那么先采集一下第一页的书名和跳转链接咯

&＃96;&＃96;&＃96;
当然在学习Python的道路上肯定会困难&＃xff0c;没有好的学习资料&＃xff0c;怎么去学习呢&＃xff1f;
学习Python中有不明白推荐加入交流Q群号&＃xff1a;928946953
群里有志同道合的小伙伴&＃xff0c;互帮互助&＃xff0c; 群里有不错的视频学习教程和PDF&＃xff01;
还有大牛解答&＃xff01;
&＃96;&＃96;&＃96;# 抓取第一页的所有书籍名字&＃xff0c;书籍入口
# 到了书籍入口后&＃xff0c;抓取章节名字&＃xff0c;章节链接&＃xff08;文字内容&＃xff09;
# 保存
import requests
from lxml import etree
import os
url&＃61;&＃39;https://www.qidian.com/all&＃39;
req &＃61; requests.get(url).text
html &＃61; etree.HTML(req)
booknames &＃61; html.xpath(&＃39;//div[&＃64;class&＃61;"book-mid-info"]/h4/a/text()&＃39;)
tzurls &＃61; html.xpath(&＃39;//div[&＃64;class&＃61;"book-mid-info"]/h4/a/&＃64;href&＃39;)for bookname, tzurl in zip(booknames, tzurls):if not os.path.exists(bookname):# if os.path.exists(bookname) &＃61;&＃61; False:os.mkdir(bookname) # 创建文件夹

这里对应着咱们的思路&＃xff0c;每采集到一个书名就给它单独创建一个文件夹。

​

完全没问题&＃xff0c;到这里咱们已经完成第一步了。

那么接下来就是去模拟请求咱们采集到的书本目录的跳转链接&＃xff0c;然后同样的方法去采集到章节名与章节内容的跳转链接了。

​

同样的你们自己查看下源代码&＃xff0c;数据也是在里面的。

​

那就接着写代码咯

&＃96;&＃96;&＃96;
当然在学习Python的道路上肯定会困难&＃xff0c;没有好的学习资料&＃xff0c;怎么去学习呢&＃xff1f;
学习Python中有不明白推荐加入交流Q群号&＃xff1a;928946953
群里有志同道合的小伙伴&＃xff0c;互帮互助&＃xff0c; 群里有不错的视频学习教程和PDF&＃xff01;
还有大牛解答&＃xff01;
&＃96;&＃96;&＃96;
import requests
from lxml import etree
import os
url &＃61; &＃39;https://www.qidian.com/all&＃39;
req &＃61; requests.get(url).text
html &＃61; etree.HTML(req)
booknames &＃61; html.xpath(&＃39;//div[&＃64;class&＃61;"book-mid-info"]/h4/a/text()&＃39;)
tzurls &＃61; html.xpath(&＃39;//div[&＃64;class&＃61;"book-mid-info"]/h4/a/&＃64;href&＃39;)for bookname, tzurl in zip(booknames, tzurls):if not os.path.exists(bookname):# if os.path.exists(bookname) &＃61;&＃61; False:os.mkdir(bookname) # 创建文件夹req2 &＃61; requests.get("http:" &＃43; tzurl).texthtml1 &＃61; etree.HTML(req2)zjurls &＃61; html1.xpath(&＃39;//ul[&＃64;class&＃61;"cf"]/li/a/&＃64;href&＃39;)zjnames &＃61; html1.xpath(&＃39;//ul[&＃64;class&＃61;"cf"]/li/a/text()&＃39;)for zjurl, zjname in zip(zjurls, zjnames):print(zjname&＃43;&＃39;\n&＃39;&＃43;zjurl)

效果图&＃xff1a;

​

知道这里为什么没有去把章节名字命名的txt文档保存在文件夹内吗&＃xff1f;

因为咱们还没有获取到章节的内容呀&＃xff0c;是不是需要先把章节内容写到章节的txt里面&＃xff0c;然后再保存在文件夹内&＃xff1f;

当然这句解释是为了照顾新手。

那么接下来采集章节内容&＃xff0c;方法什么的不讲了&＃xff0c; 一模一样的&＃xff0c;章节内容同样在源代码中如上上图所示。

​

每一个标签只保存一行内容&＃xff0c;那么就需要用到把采集到的所有内容都组合起来&＃xff0c;并用换行符隔开&＃xff0c;尽量保持文章格式。

代码走起&＃xff1a;

&＃96;&＃96;&＃96;
当然在学习Python的道路上肯定会困难&＃xff0c;没有好的学习资料&＃xff0c;怎么去学习呢&＃xff1f;
学习Python中有不明白推荐加入交流Q群号&＃xff1a;928946953
群里有志同道合的小伙伴&＃xff0c;互帮互助&＃xff0c; 群里有不错的视频学习教程和PDF&＃xff01;
还有大牛解答&＃xff01;
&＃96;&＃96;&＃96;
import requests
from lxml import etree
import os
url &＃61; &＃39;https://www.qidian.com/all&＃39;
req &＃61; requests.get(url).text
html &＃61; etree.HTML(req)
booknames &＃61; html.xpath(&＃39;//div[&＃64;class&＃61;"book-mid-info"]/h4/a/text()&＃39;)
tzurls &＃61; html.xpath(&＃39;//div[&＃64;class&＃61;"book-mid-info"]/h4/a/&＃64;href&＃39;)for bookname, tzurl in zip(booknames, tzurls):if not os.path.exists(bookname):# if os.path.exists(bookname) &＃61;&＃61; False:os.mkdir(bookname) # 创建文件夹req2 &＃61; requests.get("http:" &＃43; tzurl).texthtml1 &＃61; etree.HTML(req2)zjurls &＃61; html1.xpath(&＃39;//ul[&＃64;class&＃61;"cf"]/li/a/&＃64;href&＃39;)zjnames &＃61; html1.xpath(&＃39;//ul[&＃64;class&＃61;"cf"]/li/a/text()&＃39;)for zjurl, zjname in zip(zjurls, zjnames):print(zjname&＃43;&＃39;\n&＃39;&＃43;zjurl)req3 &＃61; requests.get(&＃39;http:&＃39; &＃43; zjurl).texthtml2 &＃61; etree.HTML(req3)nrs &＃61; html2.xpath(&＃39;//div[&＃64;class&＃61;"read-content j_readContent"]/p/text()&＃39;) # 分散式内容nr &＃61; &＃39;\n&＃39;.join(nrs)file_name &＃61; bookname &＃43; "\\" &＃43; zjname &＃43; ".txt"print("正在抓取文章&＃xff1a;" &＃43; file_name)with open(file_name, &＃39;a&＃39;, encoding&＃61;"utf-8") as f:f.write(nr)

效果图&＃xff1a;

​

这里要说明一下&＃xff0c;咱们还只是抓取了第一页的数据。那么如何抓取整站的数据呢&＃xff1f;

一般稍微有经验的都知道一点&＃xff0c;就是当我们翻页的时候&＃xff0c;网站的url会发生变化&＃xff0c;页码一般就是在url上面。

​

​

构建个for循环把页码数变为一个变量即可&＃xff0c;无需多言&＃xff0c;直接上最终的完整代码&＃xff0c;代码仅供参考&＃xff0c;你们最终可以自己去修改效果。

&＃96;&＃96;&＃96;
当然在学习Python的道路上肯定会困难&＃xff0c;没有好的学习资料&＃xff0c;怎么去学习呢&＃xff1f;
学习Python中有不明白推荐加入交流Q群号&＃xff1a;928946953
群里有志同道合的小伙伴&＃xff0c;互帮互助&＃xff0c; 群里有不错的视频学习教程和PDF&＃xff01;
还有大牛解答&＃xff01;
&＃96;&＃96;&＃96;import sys
import requests
from lxml import etree
import os
for i in range(sys.maxsize):url &＃61; f&＃39;https://www.qidian.com/all/page{i}/&＃39;req &＃61; requests.get(url).texthtml &＃61; etree.HTML(req)booknames &＃61; html.xpath(&＃39;//div[&＃64;class&＃61;"book-mid-info"]/h4/a/text()&＃39;)tzurls &＃61; html.xpath(&＃39;//div[&＃64;class&＃61;"book-mid-info"]/h4/a/&＃64;href&＃39;)for bookname, tzurl in zip(booknames, tzurls):if not os.path.exists(bookname):# if os.path.exists(bookname) &＃61;&＃61; False:os.mkdir(bookname) # 创建文件夹req2 &＃61; requests.get("http:" &＃43; tzurl).texthtml1 &＃61; etree.HTML(req2)zjurls &＃61; html1.xpath(&＃39;//ul[&＃64;class&＃61;"cf"]/li/a/&＃64;href&＃39;)zjnames &＃61; html1.xpath(&＃39;//ul[&＃64;class&＃61;"cf"]/li/a/text()&＃39;)for zjurl, zjname in zip(zjurls, zjnames):print(zjname&＃43;&＃39;\n&＃39;&＃43;zjurl)req3 &＃61; requests.get(&＃39;http:&＃39; &＃43; zjurl).texthtml2 &＃61; etree.HTML(req3)nrs &＃61; html2.xpath(&＃39;//div[&＃64;class&＃61;"read-content j_readContent"]/p/text()&＃39;) # 分散式内容nr &＃61; &＃39;\n&＃39;.join(nrs)file_name &＃61; bookname &＃43; "\\" &＃43; zjname &＃43; ".txt"print("正在抓取文章&＃xff1a;" &＃43; file_name)with open(file_name, &＃39;a&＃39;, encoding&＃61;"utf-8") as f:f.write(nr)

​

——女朋友就是私有变量&＃xff0c;只有我这个类才能调用&＃xff08;纪念分手的第二周

emmm本来以前是录制过视频教程的&＃xff0c;但是由于从上家公司离职后丢失了。在这里跟大伙说声抱歉。

但是文章的话是现写的&＃xff0c;每篇文章我都会说得很细致&＃xff0c;所以花费的python教程时间比较久&＃xff0c;一般都是两个小时以上&＃xff0c;每篇文章达到五千字左右。