作者:少唇_200 | 来源:互联网 | 2023-08-25 17:45
scrapy抓取网页返回的是404页面应该怎么做?
1 2 3 4 5 6
| http://www.example.com/artiles/1
http://www.example.com/artiles/2
...
...
...
http://www.example.com/artiles/20 |
比如要抓取上面共20页的内容,其中有些页面不存在,返回的是404页面,
scrapy会自动跳过这些页面还是其他怎么处理?
想记录返回404的页面的url到一个文件中,应该怎么做呢?