应对网站反爬需模拟真实浏览器行为：伪造user-agent等请求头、用session管理会话、控制请求频率并添加随机延时、针对js渲染内容分析接口或逆向参数，复杂场景考虑playwright/selenium。
面对网站反爬机制，单纯用 requests.get() 很难稳定获取数据。关键不是“绕过”，而是让请求更像真实浏览器行为——从请求头、会话管理、频率控制到动态内容处理，每一步都需模拟到位。
伪造请求头与 User-Agent
多数网站通过 User-Agent 判断请求来源。默认的 requests UA（如 python-requests/2.xx）极易被识别为爬虫。
- 使用常见浏览器 UA 字符串，例如 Chrome 最新版：
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36" - 每次请求随机切换 UA，可借助
fake-useragent库（注意其已停止维护，推荐改用user_agent或预置列表） - 务必补全其他常被校验的请求头：
Accept、Accept-Language、Referer、Sec-Ch-Ua等，缺失可能触发 403
使用 Session 保持会话状态
登录型站点或需 Cookie 传递的页面，必须用 requests.Session() 而非单次请求。Session 自动管理 Cookie、复用连接，还能继承 headers 设置。
- 登录后所有后续请求自动携带登录态 Cookie
- 可在 Session 实例中统一设置 headers，避免重复写入
- 配合
requests.adapters.HTTPAdapter可设置重试策略，提升稳定性
控制请求频率与添加随机延时
高频请求是反爬最敏感信号之一。即使 headers 完美，短时间密集访问仍会被限流或封 IP。
立即学习“Python免费学习笔记（深入）”；
- 在请求间加入
time.sleep(random.uniform(1, 3))，避免固定间隔 - 对目标站点先观察其 robots.txt 和响应头（如
X-RateLimit-Limit），尊重合理限制 - 分布式采集时，建议搭配代理池 + 用户标识（如不同账号/设备指纹）分散压力
应对 JavaScript 渲染与动态参数
当页面内容由 JS 异步加载（如 axios 请求接口）、或 URL/headers 中含时间戳、加密签名等动态字段时，requests 无法直接解析。
- 优先分析网页源码和 Network 面板，定位真实数据接口（XHR/Fetch），直接请求 API 而非渲染页
- 若参数加密（如 sign、token），需逆向 JS 逻辑（用 PyExecJS、execjs 或手动还原 Python 版本）
- 复杂场景（如滑块验证、Canvas 指纹）不建议硬刚，应评估是否需转用 Playwright / Selenium 模拟真实浏览器，但代价更高
