抓取数据时控制节奏的核心是避免被封禁并兼顾效率与稳定性，需采用随机延时、状态码响应（如429/503的指数退避）、连接池复用、信号量限流等策略实现自然可持续的请求行为。
抓取数据时控制节奏，核心是避免被目标网站封禁或触发反爬机制，同时兼顾效率与稳定性。关键不在于“越快越好”，而在于“稳中求进”——让请求看起来更像真实用户行为。
理解限速的底层逻辑
网站通常通过单位时间内的请求数、IP访问频次、User-Agent一致性、请求间隔波动等维度识别爬虫。单纯加固定延时（如每秒1次）容易被规则识别为机械行为。真正有效的限速需结合响应状态、服务器压力反馈和目标站点的隐含节拍（比如首页加载后常有2–3秒静默期）。
用time.sleep()做基础节拍，但别只靠它
最直接的方式是在每次请求后加入随机延时，打破规律性：
- 用random.uniform(1, 3)代替固定值，让间隔在1–3秒间浮动
- 对返回状态码为429（Too Many Requests）或503的请求，主动延长下一次等待时间（例如指数退避：2^retry * base_delay）
- 避免在循环开头sleep——应放在请求发送之后、解析之前，确保延时作用于真实请求流
借助requests.adapters.HTTPAdapter控制连接复用与并发节奏
高频请求常因连接未复用导致TCP握手开销大、IP暴露风险高。可通过适配器设置连接池和超时，间接影响节奏：
立即学习“Python免费学习笔记（深入）”；
- 设置pool_connections=10和pool_maxsize=10，限制并发连接数
- 指定max_retries=2，配合异常捕获实现失败重试+延迟升级
- 搭配session.mount('https://', adapter)全局生效，比单次request更可控
用信号量（Semaphore）做跨线程/协程的全局速率闸门
多任务并发时，仅靠单个线程内sleep无法约束整体QPS。此时可用asyncio.Semaphore或threading.Semaphore统一调度：
- 初始化sem = asyncio.Semaphore(5)，表示最多5个请求同时发出
- 每个协程先await sem.acquire()，处理完再sem.release()
- 配合asyncio.sleep(random.uniform(0.5, 1.5))微调间隔，比粗粒度sleep更贴合真实浏览节奏
限速不是拖慢速度，而是让行为更自然、更可持续。策略选型取决于目标站点强度、自身资源规模和数据时效要求——小站可轻量sleep+随机化，大站建议加状态感知+信号量+错误响应自适应。
