探究同一请求在不同机器上返回不同HTTP状态码200和429的原因

以下是用于测试的Python脚本，该脚本旨在通过一系列代理服务器向Google发送搜索请求，并检查返回的状态码：

import requests, os
ips = ['158.46.169.208', '158.46.169.252', '158.46.169.76', '158.46.171.23', '158.46.172.217', '158.46.172.55', '158.46.172.98', '158.46.173.104']
headers = {"User-Agent": "Edg/90.0.818.56"}
os.system("python --version")  # Note: On Windows use python --version
for i in ips:
    pr = {'http': f'http://abcd-{i}:xyz@example.io:22225', 'https': f'https://abcd-{i}:xyz@example.io:22225'}
    res1 = requests.get('https://www.google.com/search?q=butter', headers=headers, proxies=pr)
    print(requests.get('https://www.httpbin.org/ip', proxies=pr, headers=headers).json())
    print(res1.status_code)

在Windows 10上运行此脚本时，所有请求均成功并返回200状态码。然而，在Ubuntu 18.04服务器上运行时，部分请求返回了429状态码。

具体输出如下：

# Ubuntu 18.04 输出示例
Python 3.8.2
{'origin': '158.46.169.208'}
200
{'origin': '158.46.169.252'}
429
{'origin': '158.46.169.76'}
200
{'origin': '158.46.171.23'}
200
{'origin': '158.46.172.217'}
200
{'origin': '158.46.172.55'}
200
{'origin': '158.46.172.98'}

无论我如何调整代码或增加等待时间，结果始终保持一致：在Ubuntu服务器上某些IP地址始终触发429错误，而在Windows机器上则没有此类问题。

经过进一步调查，发现以下几点可能是导致这一现象的原因：

• 代理服务器配置差异：不同的代理服务器可能会有不同的速率限制策略。某些代理服务器可能对特定操作系统或环境施加更严格的限制。


• 网络环境差异：Windows和Ubuntu所处的网络环境可能存在差异，例如防火墙设置、ISP政策等，这些都可能导致请求被不同对待。


• 用户代理标识：尽管使用了相同的User-Agent头信息，但某些网站或服务可能会根据其他特征识别出客户端的具体操作系统类型，并据此做出响应。


• 缓存机制：浏览器缓存或其他中间层缓存机制也可能影响请求的结果。例如，某些缓存可能仅适用于特定的操作系统。

为了解决这个问题，建议尝试以下方法：

• 检查并优化代理服务器配置，确保所有代理服务器具有相似的速率限制规则。


• 确认两个操作系统的网络配置是否一致，包括防火墙设置、路由表等。


• 尝试更改User-Agent字符串，以排除因操作系统识别而导致的问题。


• 考虑引入随机延迟或降低并发请求数量，以避免触发目标服务器的速率限制。

此外，值得注意的是，即使在同一台双启动笔记本电脑上，Ubuntu和Windows的行为也有所不同，这进一步表明问题可能与底层操作系统特性有关。建议深入研究操作系统层面的网络栈实现差异，以及它们如何影响HTTP请求的处理过程。