关键在于模拟真实用户行为节奏，需采用随机化或动态延迟（如random.uniform(1.5, 4.5)）、按域名分级限速、轮换请求头、复用Session，并实时响应429/403等风控信号动态降速。
爬虫限速不是简单加个time.sleep()就完事，关键在于模拟真实用户行为节奏、分散请求压力、规避服务端反爬识别逻辑。重点是“有策略的延迟”，而非“固定等待”。
合理设置请求间隔与随机化延迟
固定 1 秒或 2 秒请求极易被识别为机器行为。真实用户浏览页面存在自然停顿：读取内容、滚动、点击、思考等，时间分布接近正态或对数正态。
- 使用
random.uniform(1.5, 4.5)或random.gauss(2.8, 0.9)生成非固定延迟（注意避免负值） - 对同一域名的所有请求，建议最小间隔 ≥1.2 秒；高频操作（如翻页、列表采集）间隔拉长至 2–5 秒
- 可结合页面加载复杂度动态调整：详情页含图片/JS 渲染 → 延迟稍长；纯 API 接口返回快 → 可略短但不低于 1 秒
按域名/接口分级限速，避免全局一刀切
不同目标站点抗爬能力差异大：新闻站可能宽松，电商/政务/金融类平台风控严格。需单独配置速率策略。
- 用
requests.adapters.HTTPAdapter配合urllib3.util.Retry实现 per-host 连接池与重试控制 - 推荐使用
scrapy.downloadermiddlewares.retry.RetryMiddleware（Scrapy）或自建RateLimiter类（Requests），按 host 维护独立计时器和请求数窗口 - 示例策略：
taobao.com：≤3 req/10s；gov.cn子站：≤1 req/8s；github.io：≤5 req/30s
引入请求头轮换 + Session 持久化
限速只是表层，服务端常结合 User-Agent、Referer、Cookie、TLS 指纹等综合判断。单一 IP+固定 UA 即使慢速也会被标记。
- 维护 UA 池（含移动端、桌面端、主流浏览器版本），每次请求随机选取，并同步更新
Accept-Language、Sec-Ch-Ua等现代字段 - 复用
requests.Session()自动管理 Cookie 和连接，模拟会话连续性；必要时手动注入 Referer（尤其从列表页跳详情页） - 避免无意义 headers（如
X-Requested-With: XMLHttpRequest）滥用，除非目标接口明确要求
监控响应状态与行为反馈，动态降速
真正的防封不是靠预设，而是实时感知风控信号并主动退让。
- 监听 HTTP 状态码：429（Too Many Requests）、403（带 Cloudflare / 验证码跳转）、503（临时屏蔽）需立即暂停该 host 请求 5–30 分钟
- 检查响应 body 是否含关键词：
"verify"、"captcha"、"block"、"security check"，命中即触发熔断 - 记录请求耗时突增（如平均 300ms → 突升至 3s+）、DNS 解析失败频次，作为隐性封禁信号，自动延长后续延迟 2–3 倍
不复杂但容易忽略：限速的本质是降低请求熵值，让流量更像人——有停顿、有变化、有上下文、有容错。写死 sleep 不是策略，是掩耳盗铃。
