scrapy分布式架构需用scrapy-redis替换scheduler、dupefilter等组件，共享redis队列与指纹库；配合动态ua、代理池健康检测、js渲染方案、分层存储及prometheus监控实现高可用爬取。
Scrapy分布式架构怎么搭
单机Scrapy跑得再快，面对千万级URL也扛不住。分布式核心是把调度、去重、请求分发拆开，让多台机器协同干活。主流方案是用Scrapy-Redis——它把Scheduler、DupeFilter、ItemPipeline都换成Redis后端，天然支持多Spider共享队列和指纹库。
关键操作几步到位：
- 安装：
pip install scrapy-redis，然后在settings.py里替换默认组件：把SCHEDULER设为"scrapy_redis.scheduler.Scheduler"，DUPEFILTER_CLASS换成"scrapy_redis.dupefilter.RFPDupeFilter" - Redis要开启AOF持久化，避免断电丢任务；建议用密码+绑定内网IP，别裸奔暴露在外网
- 所有爬虫实例共用同一个Redis DB，靠
REDIS_URL（如redis://:pwd@192.168.1.100:6379/0）指向同一地址，启动时自动接入 - 不用改spider代码，只需把
start_urls写成Redis的list key（比如myproject:start_urls），用lpush塞链接，多个worker会自动争抢消费
常见反爬怎么稳住不被封
目标网站不是静态文档馆，是活的防御系统。识别和绕过得组合出招，不能只靠User-Agent轮换。
-
请求头动态化：用
scrapy.downloadermiddlewares.useragent.UserAgentMiddleware配合fake-useragent库，每次request随机挑Chrome/Firefox/Safari真实UA，同时带上Accept-Language、Accept-Encoding等配套头，模拟真人浏览器环境 -
IP代理池必须带健康检测：光有代理列表没用。用Redis存代理IP+响应延迟+失败次数，写个守护进程定期用HEAD请求探活，失效的踢出池子；Scrapy里用
HttpProxyMiddleware按权重随机选可用代理 -
JavaScript渲染内容？别硬啃：如果页面数据由JS生成（比如Vue/React SPA），Scrapy拿不到真实HTML。直接上
scrapy-splash或改用Playwright+Scrapy结合——用无头浏览器渲染完再交给Scrapy解析，虽然慢点但稳 -
验证码和滑块？先评估成本：简单数字字母图可用OCR（如pytesseract），但复杂滑块建议接入打码平台API（如超级鹰、猿急送），在
errback里捕获412/503状态，触发识别逻辑并重试，别卡死流程
大规模数据怎么存又快又稳
每秒几百条item入库，MySQL直连会变瓶颈，ES搜不出结果，CSV又难扩展。得按数据用途分层存。
立即学习“Python免费学习笔记（深入）”；
- 原始HTML快照存对象存储：用
boto3或oss2上传到阿里云OSS/腾讯COS，路径按域名+日期+hash命名（如example.com/20240520/abc123.html），保留溯源能力，不占本地磁盘 - 结构化数据走消息队列中转：Scrapy Pipeline把清洗后的item发到Kafka/RabbitMQ，下游用独立消费者服务写入MySQL或ClickHouse——解耦采集和存储，防止数据库抖动拖垮爬虫
- 去重指纹别只靠URL：加一层内容MD5校验。下载完response.body算md5，和URL一起进Redis Set，双保险防重复抓取相同内容的不同URL参数
- 日志必须分级：INFO级记成功URL和耗时，WARNING记重试超限、代理失效，ERROR记解析异常。用
logging.handlers.RotatingFileHandler按天切日志，避免单文件过大
上线后怎么盯住不翻车
没人守着终端，爬虫就得自己会“喊人”。监控不是可选项，是生存线。
- 暴露Prometheus指标：集成
scrapy-prometheus，暴露请求数、响应状态码分布、中间件耗时等，配Grafana看板，5xx突增立刻告警 - 关键链路埋点检查：每10分钟查一次Redis里
queue长度、dupefilter大小、失败URL集合数量，超阈值发钉钉/企业微信消息 - 定期做一致性校验：抽样比对OSS存的HTML和数据库里解析出的标题、发布时间是否一致，发现解析规则失效能早干预
- 设置自动熔断：连续3次请求返回空数据或全403，暂停该域名下所有spider 30分钟，改用备用User-Agent或代理池，避免集体被封
