requests请求被封ip典型表现为403、429、空内容200或超时,主因是请求头、频率、ip信誉暴露机器人特征;需用随机延时、任务粒度控制、高匿代理验证、adsl断连清理及行为指纹规避。

requests请求被封IP的典型表现
访问目标网站时突然返回 403 Forbidden、429 Too Many Requests,或者页面内容为空但状态码是 200(实际返回了反爬HTML),甚至直接超时——这些都不是代码写错了,而是服务端识别出你“太像机器人”了。核心问题不在 requests 本身,而在于请求头、频率、IP信誉这三点暴露了身份。
拉长请求间隔不能只靠 time.sleep()
time.sleep() 是最基础的节流方式,但单纯加固定延时容易被识别:人类点击不会每5秒整准时发一次请求。更稳妥的做法是引入随机抖动 + 任务粒度控制:
- 用
random.uniform(1.5, 4.5)替代固定值,避免周期性特征 - 在批量采集时,把“一页多个商品”视为一个原子任务,先完整抓完一页再休眠,而不是每个商品都 sleep 一次
- 对关键接口(如登录、搜索)单独设置更长间隔,比如
sleep(random.randint(8, 15))
注意:time.sleep() 在异步场景下会阻塞整个协程,若用 aiohttp,得换 await asyncio.sleep()。
高匿代理IP不是买了就灵
市面上标“高匿”的代理,很多只是不传 X-Forwarded-For,但依然会在响应头或JS中暴露真实IP,或者被目标站拉黑过。实操要点:
立即学习“Python免费学习笔记(深入)”;
- 优先选支持
https协议且能透传User-Agent的代理,测试时用requests.get("https://httpbin.org/ip", proxies=proxies)验证是否真匿名 - 每次请求必须换
proxies参数,别复用同一个 session;否则连接池可能复用旧TCP连接,绕过代理 - 避免高频轮询同一组代理,建议搭配失败重试机制:单个代理连续失败3次就剔除,从池中剔除后至少10分钟不重用
常见坑:requests 默认不校验代理证书,遇到自签名代理会报 SSLError,需加 verify=False,但要清楚风险。
ADSL拨号换IP的关键是“断连干净”
家用ADSL每次拨号确实能换IP,但很多脚本只调用 rasdial /disconnect 再重连,结果新IP没生效——因为系统缓存了DNS和TCP连接。必须做到:
- 断开前先关闭所有
requests.Session()实例,清空连接池:session.close() - 拨号后执行
ipconfig /flushdns(Windows)或sudo dscacheutil -flushcache(macOS) - 首次请求前加
time.sleep(3),等路由表更新完成,否则可能走旧网关
另外,运营商分配的IP段常被爬虫滥用,即使换了也很快被封。建议只在小规模、低频、高价值目标上用,别当成通用方案。
真正难处理的是行为指纹:鼠标轨迹、页面停留时间、JS渲染环境。IP只是第一道门,后面还有更多层在看你是不是真人。










