Pythonspider(六)Scrapy中间件获取新闻

前言&＃xff1a;Scrapy因为请求到的都是静态的数据&＃xff0c;动态数据无法获取&＃xff0c;拿应该怎么解决呢&＃xff1f;

1.获取新闻的第一步

解析静态网址

根据抓包可以查看是否是静态数据&＃xff0c;根据固定的数据进行解析

2.使用selenium&＃43;中间件完成动态数据的解析

提示&＃xff1a;chromedriver.exe文件需要到官网中查看对应的浏览器版本进行操作

# 在spider文件中
# 开启浏览器def __init__(self):self.bro &＃61; webdriver.Chrome(executable_path&＃61;&＃39;D:\PY\chromedriver.exe&＃39;)
# 在结束的时候关闭浏览器def closed(self, spider):self.bro.quit()


• 结合 middlewares.py&＃xff0c;对于数据返回值进行拦截&＃xff1a;

# 4.通过中间件完成动态数据的获取def process_response(self, request, response, spider):bro &＃61; spider.bro# modules_url 是spider文件中添加的新闻网页数据&＃xff0c;如果请求来自其中&＃xff0c;则进行拦截返回客户端动态数据if request.url in spider.modules_url:bro.get(request.url)# 动态数据返回page_text &＃61; bro.page_sourcen_response &＃61; HtmlResponse(url&＃61;request.url, body&＃61;page_text, encoding&＃61;&＃39;utf-8&＃39;, request&＃61;request)return n_responseelse:return response


3.获取详情数据之后&＃xff0c;开启管道持久化数据

fp &＃61; Nonedef open_spider(self, spider):print("开始爬虫")# 需要使用全局变量赋值self.fp &＃61; open(&＃39;./news163item.txt&＃39;, &＃39;w&＃39;, encoding&＃61;&＃39;utf-8&＃39;)def process_item(self, item, spider):# 3. 解析管道数据title &＃61; item[&＃39;title&＃39;]content &＃61; item[&＃39;content&＃39;]content &＃61; title &＃43; "\n" &＃43; contentself.fp.write(content)# 4.开启管道return itemdef close_spider(self, spider):print("结束爬虫")self.fp.close()


• 配置文件settings中都需要开启&＃xff1a;

DOWNLOADER_MIDDLEWARES &＃61; {&＃39;News163Item.middlewares.News163ItemDownloaderMiddleware&＃39;: 543,
}ITEM_PIPELINES &＃61; {&＃39;News163Item.pipelines.News163ItemPipeline&＃39;: 300,
}USER_AGENT &＃61; &＃39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36&＃39;ROBOTSTXT_OBEY &＃61; FalseLOG_LEVEL &＃61; &＃39;ERROR&＃39;


最终获取结果