本文介绍如何将单 url 请求的 python 脚本扩展为批量处理多个 url，自动收集每个响应中的指定字段，逐次合并至一个 dataframe，并最终导出为 csv 文件。
要实现对多个 URL 的自动化批量请求与结构化数据聚合，核心在于：将固定 URL 替换为 URL 列表、封装请求-解析逻辑为循环体、使用 pandas.concat()（推荐）或 DataFrame.append()（已弃用）动态累积结果、最后统一导出 CSV。
以下是优化后的完整可执行脚本（已适配现代 pandas 版本，避免使用已弃用的 .append() 方法）：
import requests
import pandas as pd
# ✅ 定义待请求的 URL 列表（支持任意数量）
urls = [
'https://ws1.postescanada-canadapost.ca/AddressComplete/Interactive/Find/v2.10/json3ex.ws?Key=TF36-KU97-AB94-ZC85&Country=CAN&SearchTerm=L2A%200A2&LanguagePreference=en&LastId=CA%7CCP%7CENG%7C0A2-L2A&SearchFor=Everything&OrderBy=UserLocation&$block=true&$cache=true',
'https://ws1.postescanada-canadapost.ca/AddressComplete/Interactive/Find/v2.10/json3ex.ws?Key=TF36-KU97-AB94-ZC85&Country=CAN&SearchTerm=M5V%203L9&LanguagePreference=en&SearchFor=Everything&OrderBy=UserLocation&$block=true&$cache=true',
# 可继续添加更多 URL...
]
# ✅ 统一请求头（保持会话一致性）
headers = {
'authority': 'ws1.postescanada-canadapost.ca',
'accept': '*/*',
'accept-language': 'en-US,en;q=0.9',
'cache-control': 'no-cache',
'origin': 'https://www.canadapost-postescanada.ca',
'pragma': 'no-cache',
'referer': 'https://www.canadapost-postescanada.ca/ac/',
'sec-ch-ua': '"Not A(Brand";v="99", "Google Chrome";v="121", "Chromium";v="121"',
'sec-ch-ua-mobile': '?0',
'sec-ch-ua-platform': '"Windows"',
'sec-fetch-dest': 'empty',
'sec-fetch-mode': 'cors',
'sec-fetch-site': 'cross-site',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36',
}
# ✅ 初始化空列表用于暂存各次请求的 DataFrame
all_dfs = []
# ? 主循环：遍历每个 URL
for i, url in enumerate(urls, 1):
print(f"[{i}/{len(urls)}] 正在请求: {url[:60]}...")
try:
response = requests.get(url, headers=headers, timeout=15)
response.raise_for_status() # 自动检查 HTTP 错误状态码
data = response.json()
results = data.get('Items', [])
# ✨ 使用列表推导式高效提取字段（更简洁、更 Pythonic）
texts = [item['Text'] for item in results if 'Text' in item]
descriptions = [item['Description'] for item in results if 'Description' in item]
# ? 构建当前批次 DataFrame，并添加来源标识（可选但推荐）
batch_df = pd.DataFrame({
'results_subset_alpha': texts,
'results_subset_beta': descriptions,
'source_url': [url] * len(texts) # 标记数据来源
})
all_dfs.append(batch_df)
except requests.exceptions.RequestException as e:
print(f"⚠️ 请求失败 ({url}): {e}")
continue
except KeyError as e:
print(f"⚠️ 响应结构异常，缺失字段 {e}（URL: {url}）")
continue
except Exception as e:
print(f"❌ 未预期错误: {e}")
continue
# ? 合并所有批次数据（空列表时返回空 DataFrame）
final_df = pd.concat(all_dfs, ignore_index=True) if all_dfs else pd.DataFrame()
# ✅ 导出为 CSV（不保存索引，确保列名清晰）
final_df.to_csv('batch_results.csv', index=False)
print(f"\n✅ 成功完成！共采集 {len(final_df)} 条记录，已保存至 'batch_results.csv'")? 关键改进与注意事项：
- 安全性增强：添加 response.raise_for_status() 和 timeout，防止挂起或静默失败；
- 健壮性提升：使用 try...except 捕获网络异常、JSON 解析失败及字段缺失问题；
- 现代兼容性：用 pd.concat() 替代已废弃的 .append()（pandas ≥ 2.0），避免警告与未来兼容风险；
- 可追溯性：新增 source_url 列，便于后续定位原始请求来源；
- 可扩展设计：URL 列表可来自文件（如 pd.read_csv('urls.csv')['url'].tolist()）或数据库，轻松对接生产流程。
运行后，你将获得一个结构统一、来源可溯、错误可控的汇总 CSV 文件，为地址补全、批量验证等场景提供可靠的数据管道支持。
