pythonscrapy出现nomoreduplicateswillbeshown(seeDUPEFILTER_DEBUGtoshowallduplicate

出现这个提示的原因是scrapy的filter功能将请求自动过滤掉&＃xff0c;从而不会出现请求的结果
在请求yield Request(url, method&＃61;“POST”, body&＃61;json.dumps(self.data), headers&＃61;self.headers,
callback&＃61;self.get_detail, meta&＃61;{‘page’: page, ‘ids’: ids,‘href’:href},dont_filter&＃61;True) 中增加dont_filter&＃61;True这一选项&＃xff0c;将过滤功能关闭掉就ok了