上线前须解决稳定性与合规问题：设随机ua并轮换、带抖动等待、复用session并更新请求头、429/403/503时暂停ip；redis用连接池；mysql超长字段截断+脱敏；严守robots.txt及个人信息保护法。
Python爬虫项目上线前，不解决稳定性与合规问题，跑几天就挂或收律师函是大概率事件。
如何避免被目标网站封禁IP
高频请求、无头浏览器指纹、缺少合理请求头，是触发反爬最直接的原因。真实用户不会每秒发10个请求，也不会用默认的python-requests UA。
- 必须设置随机
User-Agent，并定期轮换（可用fake-useragent库，但注意其默认接口已不稳定，建议本地缓存UA池） - 请求间隔不能硬写
time.sleep(1)，应使用带抖动的等待：例如time.sleep(random.uniform(1.5, 3.5)) - 优先走
session复用连接，但每次请求后调用session.headers.update(...)更新Referer和UA，避免指纹固化 - 对返回状态码为
429、403、503的响应，立即暂停当前IP，并记录到blocked_ips.log中供后续排查
分布式部署时Redis连接频繁超时
爬虫常依赖Redis做去重（scrapy-redis）或任务队列，但上线后出现ConnectionError: Error 111 connecting to localhost:6379或响应延迟飙升，多因连接未复用或超时配置失当。
- 不要每次取任务都新建
redis.Redis()实例；改用连接池：pool = redis.ConnectionPool(host='x.x.x.x', port=6379, db=0, max_connections=20, socket_timeout=3, socket_connect_timeout=3)
- 在Scrapy中通过
settings.py注入连接池：REDIS_PARAMS = {'connection_pool': pool} - 务必关闭
socket_keepalive以外的冗余选项，某些云Redis服务不支持health_check_interval，开启反而导致心跳失败 - 监控
INFO Clients输出中的connected_clients和client_recent_max_input_buffer，缓冲区持续 >2MB 是连接泄漏信号
数据入库时MySQL报错“Packet too large”
爬取商品详情页时，字段含大段HTML或JSON字符串，直接cursor.execute(insert_sql, data)易触发MySQLdb._exceptions.OperationalError: (1153, "Got a packet bigger than 'max_allowed_packet' bytes")。
立即学习“Python免费学习笔记（深入）”；
- 服务端需调大
max_allowed_packet（如设为128M），但更稳妥的是客户端切分：对超长字段先用html.unescape()清洗，再用textwrap.shorten()截断至5000字符以内（保留摘要而非全量存） - 插入前检查长度：
if len(data['content']) > 4500: data['content'] = data['content'][:4500] + '...[TRUNCATED]'
- 批量插入改用
executemany()而非循环execute()，但单次传入行数别超500，否则仍可能突破包限制 - 敏感字段（如用户评论）入库前必须过一遍
mysql.escape_string()或交由SQLAlchemy参数化处理，不可拼接SQL
法律风险常被忽略的三个动作
不是所有能爬的数据都该爬。合规不是“没被发现就没事”，而是行为本身是否越界。
- 上线前必须检查目标站点
robots.txt，尤其关注Disallow路径是否覆盖你正在抓的API或分页URL（例如Disallow: /api/v2/items） - 爬取个人信息（手机号、身份证号、住址）或支付相关页面，即使页面公开，也极可能违反《个人信息保护法》第10条，需立即停止
- 存储数据时禁止明文落盘含身份标识的字段；若必须留存，用
hashlib.sha256(salt + raw).hexdigest()脱敏，且salt不得写死在代码里 - 日志中严禁记录完整请求体（尤其是含cookie/sessionid的POST）、原始响应头（含
Set-Cookie）——这些属于直接证据，出事时会被要求提供
真正难的不是让爬虫跑起来，而是让它在不惊动对方、不耗尽资源、不留下把柄的前提下，持续稳定吐出干净数据。每个sleep、每个header、每行日志，都在定义你的责任边界。
