本文只介绍解决相应问题的解决思路&＃xff0c;做技术分享&＃xff0c;请勿滥用&＃xff0c;否则后果自负。
前言
最近在网站看书的时候&＃xff0c;遇到了一种iframe嵌套的网站&＃xff0c;然后就习惯性的考虑了进行数据获取的时候应该如何解决。
分析
进入网站点击下一页发现地址栏并不发生变化&＃xff0c;但是改变地址栏的相应页面数字的时候小说的页数能够随着变化&＃xff0c;我觉得很大可能是ajax绑定了数据。之后打开f12审查元素&＃xff0c;又打开网页源码进行查看网页源码进行比较&＃xff0c;发现f12审查元素中存在一个iframe标签&＃xff0c;在这个iframe标签中存在小说相应的数据&＃xff0c;如下图&＃xff1a;
之后查看源码中并不存在iframe相关的内容&＃xff0c;只有一个form表单
如果在这个状态下直接使用requests请求网址肯定是获取不到任何数据的,因为requests获取到的就是网站的源码。如果图省事的话可以直接考虑使用selenium&＃xff0c;只要网站上看得到的都可以使用selenium进行获取&＃xff0c;另外也是可以考虑使用requests进行分析network中各个请求进行获取数据。下面从两个角度对该问题进行解决。
思路一&＃xff1a;使用requests获取数据
1.分析network
如果直接请求地址栏中的url是不可能获取到小说相关的内容的。因此先从network下手&＃xff0c;看看点击下一页之后网站的发起请求的情况。点击下一页之后发现出现三个请求&＃xff0c;并且出现了3&＃xff1f;t&＃61;一串数字
打开第一个文件发现里边的链接恰好就是下一个访问的链接
进入第二个链接发现里边的内容恰好就是小说内容
由此可以得出我们只要获取到第一个链接就可以得到小说的内容。
2.分析网页源码中的js部分
从1中我们得出只要能够获得链接1我们就能获取到数据&＃xff0c;分析网页源码的目的也就是为了找到构造这个链接的js部分。首先肯定会考虑那个form表单&＃xff0c;看看有什么用处&＃xff0c;在里边的参数有一个${m}感觉有点像后端的EL表达式&＃xff0c;数据是从后端传过来的。此路解决起来可能有点难度&＃xff0c;继续看看其他的js方法&＃xff0c;发现有一个方法里构造的url和我们在1中发现的第一个url极度相似
两个参数&＃xff0c;一个pageIndex不用说了肯定是页码&＃xff0c;但是这个t是什么&＃xff0c;然后可以考虑在全局中搜索一下
发现如下
{t}仅仅是个字符&＃xff0c;被一个方法替换了(new Date().getTime()&＃xff1a;获取时间戳)&＃xff0c;看这个方法应该是和时间有关系&＃xff0c;那么t应该就是time的意思&＃xff0c;然后去在线js执行一下方法
3.构造url进行访问
用上边的时间戳构造url
成功获取到信息
现在url地址栏的信息则为1中的第二个链接
4.正则匹配url
使用requests进行请求的时候&＃xff0c;看源码发现那个url与网站源码有些出入&＃xff0c;按照requests请求后的源码解决即可。
把中间的jsessionid相关的东西匹配出来之后替换掉
于是就匹配出来了&＃xff0c;之后使用replace换成相应的内容就可以了
代码如下&＃xff1a;
import requests
import re
import time
from bs4 import BeautifulSoup
user_agent &＃61;"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"
headers &＃61; {&＃39;User-Agent&＃39;: user_agent}
url&＃61;"http://shuxiang.chineseall.cn/v3/book/read/qDkFg/EPUB/1"
res&＃61;requests.get(url&＃61;url,headers&＃61;headers)
res_text&＃61;res.text
patterns&＃61;&＃39;/v3/book/.&＃43;?t&＃61;{t}&＃39;#Reader Url正则匹配规则
url_true&＃61;re.findall(patterns,res_text)#对整体进行匹配
re_text&＃61;re.findall(";.*?/",url_true[0])#匹配出来jsessionid
print(re_text[0])
print(url_true[0].replace(re_text[0],"/").replace("{pageIndex}","1").replace("{t}",str(int(time.time()))))#将链接中的jsessionid除去加入pagenumber以及时间戳
newurl&＃61;"http://shuxiang.chineseall.cn"&＃43;url_true[0].replace(re_text[0],"/").replace("{pageIndex}","4").replace("{t}",str(int(time.time())))
result&＃61;requests.get(newurl,headers&＃61;headers)
print(result.text)
soup&＃61;BeautifulSoup(result.text,&＃39;lxml&＃39;)
print(soup.find_all(&＃39;p&＃39;))
运行结果&＃xff1a;
思路二&＃xff1a;使用selenium获取数据
1.找到iframe的class或者id
使用selenium中的switch_to.frame(id)就可以转达框架内进行操作
代码如下&＃xff1a;
from selenium import webdriver
from bs4 import BeautifulSoup
from selenium.webdriver import ActionChainsb_driver &＃61; webdriver.Chrome()
url_str&＃61;"http://shuxiang.chineseall.cn/v3/book/read/OtuGg/EPUB/"
url&＃61;[url_str&＃43;str(i)for i in range(2,8)]
#actions&＃61;ActionChains(b_driver)
f&＃61;open("D:研究数据爬取datatext.txt",&＃39;a&＃39;)
def getTexts(url,urla):webdriver.Chrome()b_driver.get(url)b_driver.switch_to.frame(&＃39;epubViewFrame&＃39;)#转入iframe标签内page&＃61;b_driver.page_sourceprint(page)soup&＃61;BeautifulSoup(page,&＃39;lxml&＃39;)soup_text&＃61;soup.select(&＃39;p[class&＃61;"content"]&＃39;)for i in range(0,len(soup_text)):print(soup_text[i].string)if soup_text[i].string&＃61;&＃61;None:f.write(" ")else:f.write(soup_text[i].string)f.write("n")f.write("*"*30&＃43;"n")b_driver.switch_to.window(b_driver.window_handles[-1])#使用新的标签进行访问下一个链接b_driver.get(urla)
for i in range(1,len(url)):if i&＃61;&＃61;len(url):breakelse:getTexts(url[i],url[i&＃43;1])
效果如下&＃xff1a;
总结
遇到需要爬取iframe内的信息网站的时候如果不要求时间的话完全可以使用selenium来爬取就可以&＃xff0c;任何的js或者ajax对其都没有什么作用&＃xff0c;但是如果有$cbc以及webdriver检测的话可能selenium就不行了。requests相对麻烦一些&＃xff0c;因为需要抓包看一下相关的链接情况。最后还是要提醒一下&＃xff0c;写任何的爬虫都不要给网站服务器造成负担&＃xff0c;设置合理的休眠时间。
http://weixin.qq.com/r/dDnN1XzE9CGLrTi292xm (二维码自动识别)
京公网安备 11010802041100号