问

python - 请问scrapy中如何设置request的重试次数

 mobiledu2502883683 发布于 2022-10-27 10:46
  • python
  • ip
  • request
  • 队列

    • scrapy版本：1.1.2
    python 版本：3.5

    在使用scrapy抓取数据的时候使用了代理IP，难免会遇到代理IP失效的情况。

    因为对数据完整性要求较高，请问如何设置只要没有成功的返回response则把任务重新放进Request队列中去继续爬取？

    1 个回答

    • 可以使用scrapy自带的scrapy.downloadermiddlewares.retry.RetryMiddleware中间件，然后通过这几个参数进行配置：
      RETRY_ENABLED: 是否开启retry
      RETRY_TIMES: 重试次数
      RETRY_HTTP_CODECS: 遇到什么http code时需要重试，默认是500,502,503,504,408，其他的，网络连接超时等问题也会自动retry的

      2022-10-27 18:10 回答
    撰写答案
    今天，你开发时遇到什么问题呢？
    立即提问
    热门标签
    PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
    Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有