Scrapyshell带头部headers请求

scrapy shell 命令请求网页：

scrapy shell "https://www.baidu.com"

就会得到请求的网页源代码，我们通过response.text可以获取请求之后的源代码，然后就可以通过正则匹配我们想要的内容

 2.然后上面请求方法，对一些不做限制的网站请求时ok，但是就如之前所讲的，很多网站对没有设置请求头的请求都是禁止访问，所以我们的爬虫中都设置了headers头部，那么在scrapy如何设置请求头呢？

问题分析，我们设置请求头很大一部分其实是在于headers，所以我们在scrapy中设置user-agent其实就完成了请求headers头部的设置。

scrapy shell -s USER_AGENT="" request_url 就可以完成带头部的请求添加，如请求知乎（不带头部请求时400错误）：

这样我们就可在scrapy查看我们请求的原网页和验证我们写的正则表达式

3.通过上述请求后，我们通过response.text可以获得我们请求的源码，那么如何保存呢？

保存代码其实跟编辑器中的代码一样：

原文链接：https://blog.csdn.net/godot06/article/details/81587242