Python数据抓取并发需平衡IO、CPU、资源与目标容忍度；推荐协程（aiohttp）替代线程，复用连接、限流、禁阻塞操作；优化DNS、TLS、响应读取；优先lxml解析、延迟CPU密集处理；强调超时、重试、随机化以保障稳定。
Python数据抓取中，并发处理不是简单地“多开几个请求”，而是要在网络IO、CPU调度、资源限制和目标站点容忍度之间找平衡点。盲目堆线程或协程反而容易触发反爬、连接超时或本地内存溢出。
合理选择并发模型：线程 vs 协程
对HTTP请求这类IO密集型任务，协程（asyncio + aiohttp）通常比多线程更轻量、吞吐更高。线程受GIL限制且创建成本高，100个线程不等于100倍速度；而1000个aiohttp任务在单核上也能高效轮转。
- 用 aiohttp.ClientSession() 复用TCP连接，避免重复握手开销
- 设置 semaphore 控制并发数（如同时最多20个请求），防止压垮自己或对方服务器
- 避免在协程中混用阻塞操作（如time.sleep、requests.get），改用 await asyncio.sleep()
连接与响应层面的性能关键点
慢不一定是代码问题，常卡在DNS解析、TLS握手、响应体过大或服务端限速上。
- 启用连接池：aiohttp默认开启，requests可配 urllib3.PoolManager 或使用 requests.adapters.HTTPAdapter 调整 pool_size
- 禁用重定向或压缩（若不需要）：allow_redirects=False、auto_decompress=False
- 流式读取大响应：response.content.iter_chunked(8192) 避免一次性加载进内存
结构化处理链路的优化习惯
解析和清洗常被忽略，但DOM遍历、正则匹配、JSON.loads()等操作在高频并发下会成为瓶颈。
立即学习“Python免费学习笔记（深入）”；
- 优先用 lxml（C实现）而非 BeautifulSoup（Python实现），解析速度可提升5–10倍
- 用 json.loads() 直接解析响应文本，比先转str再loads快；对API接口尽量跳过HTML解析环节
- 把耗CPU的操作（如字段标准化、编码转换）放到并发完成后再批量处理，减少协程上下文切换压力
稳定比快更重要：加监控、控节奏、留退路
真实抓取场景中，成功率和可持续性远胜峰值QPS。
- 为每个请求设独立超时：timeout=aiohttp.ClientTimeout(total=10, connect=3)
- 记录失败URL+状态码+异常类型，用指数退避重试（如首次1s后重试，失败再2s、4s…）
- 随机化请求间隔（如0.5–1.5秒）、轮换User-Agent、必要时接入代理池，降低被封概率
不复杂但容易忽略。真正跑得稳的爬虫，往往并发数不高，但每个请求都精打细算。
