要避免被反爬，需模拟真实用户行为。1. 设置常见且轮换的User-Agent和Referer请求头；2. 用随机延迟控制请求频率，降低服务器压力；3. 使用代理IP池分散请求来源，防止IP被封；4. 针对JavaScript渲染和验证码，采用Selenium等工具模拟浏览器操作或接入打码平台；5. 遵守robots.txt规则，合法采集公开数据。持续监控响应状态，及时调整策略可实现稳定抓取。
网站为了保护自身数据和服务器资源，通常会设置多种反爬机制。Python爬虫在抓取数据时，如果不加以处理，很容易被识别并封禁IP或账号。要有效避免被反爬，关键在于模拟真实用户行为、降低请求频率、隐藏爬虫特征。以下是几种常见且实用的策略。
1. 设置合理的请求头（User-Agent 和 Referer）
很多网站通过检查请求头来判断是否为爬虫。如果请求中缺少User-Agent或使用默认的库标识（如python-requests/2.28.1），很容易被识别。
建议做法：
- 为每次请求添加常见的浏览器User-Agent，例如Chrome、Firefox等。
- 轮换不同的User-Agent，避免长时间使用同一个。
- 添加Referer字段，模拟从搜索引擎或首页跳转的行为。
示例代码：
立即学习“Python免费学习笔记（深入）”；
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
'Referer': 'https://www.google.com/'
}
response = requests.get('https://example.com', headers=headers)
2. 控制请求频率，避免高频访问
短时间内发送大量请求是爬虫的典型特征。网站会通过统计单位时间内的请求数来封禁异常IP。
应对方法：
- 使用
time.sleep()在请求之间加入随机延迟，比如0.5到3秒。 - 对于大规模采集，采用分布式爬虫或分时段运行。
- 优先抓取非高峰时段的数据，减少对服务器压力。
示例：
import time import random time.sleep(random.uniform(0.5, 3))
3. 使用代理IP池防止IP被封
单一IP频繁访问容易被加入黑名单。通过轮换代理IP，可以有效分散请求来源。
实现方式：
- 购买可靠的代理服务（如阿布云、芝麻代理）或使用免费代理（稳定性较差）。
- 构建IP池，在每次请求时随机选择一个代理。
- 定期检测代理可用性，剔除失效IP。
示例请求使用代理：
proxies = {
'http': 'http://123.123.123.123:8080',
'https': 'https://123.123.123.123:8080'
}
requests.get('https://example.com', proxies=proxies, headers=headers)
4. 处理JavaScript渲染与验证码
现代网站常使用JavaScript动态加载内容，或通过验证码（如reCAPTCHA）拦截自动化程序。
解决方案：
- 使用
Selenium或Playwright控制真实浏览器，模拟点击、滚动等行为。 - 针对验证码，可接入打码平台API自动识别，或人工标注训练模型。
- 尽量避开需要登录或验证的关键路径，只采集公开、静态数据。
5. 遵守 robots.txt 与网站规则
虽然不是技术手段，但合法合规能显著降低被封风险。
建议：
- 访问目标网站的
/robots.txt文件，查看允许抓取的路径。 - 尊重Crawl-delay指令，控制抓取节奏。
- 避免抓取敏感信息或注册用户专属内容。
基本上就这些。只要把请求做得像人，节奏放慢，IP有备份，大多数网站都能稳定采集。关键是持续观察响应状态，一旦发现403或重定向到验证码页，就要及时调整策略。
