Python批量调用接口需控制并发、分层捕获异常、校验响应并隔离失败:用ThreadPoolExecutor限流,按类型捕获requests异常,关键字段防御性访问,结构化收集结果统一分析。

Python调用接口时,批量请求和异常处理是提升稳定性与效率的关键。光靠单次requests.get()不够,得考虑并发控制、失败重试、响应解析容错和资源释放。
批量请求:别硬扛,用会“排队”的方式
一次性发几百个请求,既可能被限流,又容易耗尽连接或内存。推荐用concurrent.futures.ThreadPoolExecutor控制并发数,比纯for循环快,又比盲目开100线程更稳妥。
- 设置
max_workers=5~10,适合大多数API限流策略(如每秒5~10次) - 每个请求单独包装成函数,返回结果+原始URL+状态标记,方便后续归因
- 避免在循环里反复创建
Session,复用一个Session实例能复用连接池,减少握手开销
异常不是bug,是接口的日常语气
网络超时、DNS失败、HTTP 5xx、JSON解析错误……这些不是程序写错了,而是远程服务的真实反馈。要按类型分层捕获,而不是全包进一个except Exception。
-
requests.exceptions.Timeout:优先调小timeout=(3, 7)(连通3秒,读取7秒),再考虑重试 -
requests.exceptions.ConnectionError:可能是域名不可达或服务宕机,重试意义不大,记录后跳过 -
json.JSONDecodeError:响应体不是合法JSON(比如返回了HTML错误页),打印response.text[:200]快速定位 - 对429(Too Many Requests)和401(Unauthorized)这类业务态异常,应中断当前批次,检查token或降速
结果落地前,先做轻量级校验
拿到响应不等于数据可用。常见坑:空响应体、字段缺失、数值类型错乱(字符串"null"而非None)、时间格式不统一。
立即学习“Python免费学习笔记(深入)”;
- 用
response.raise_for_status()快速拦截4xx/5xx,但别依赖它代替业务判断 - 关键字段用
.get("field", default)访问,避免KeyError;数值字段加float()/int()前先isinstance(val, (int, float))或str.isdigit()防护 - 把原始响应头(
response.headers)和状态码一起存入结果字典,排障时比日志更有价值
别让一次失败拖垮整批任务
批量请求中某条失败,不该导致整个流程中断。建议用“结果收集器”模式:成功记一条,失败记一条,最后统一统计和导出。
- 定义结构化结果列表:
results = [{"url": "...", "status": "success"/"failed", "data": ..., "error": "..."}] - 失败项保留原始异常信息(
traceback.format_exc()截断前200字符即可),不吞掉上下文 - 执行完全部请求后,用
pandas.DataFrame(results)快速分析失败率、高频错误类型、响应时间分布
不复杂但容易忽略。把并发控住、异常分清、结果验明、失败隔离,批量接口调用就从“碰运气”变成“可预期”。










