Scrapy分布式核心是将调度器和去重器迁移至Redis实现共享队列与全局去重；需替换Scheduler和DupeFilter为Redis版，常用scrapy-redis库，配置SCHEDULER、DUPEFILTER_CLASS及REDIS_URL，并通过LPUSH推送起始URL。
Scrapy与Redis协同的分布式原理
Scrapy本身是单机爬虫框架，不支持原生分布式。要实现分布式，核心思路是把调度器（Scheduler）从内存移到Redis中，让多个Scrapy实例共享同一套待抓取队列和去重集合。Redis作为中间件，承担URL去重（Set）、任务分发（Queue或Priority Queue）、以及状态同步（如已爬URL、请求指纹）的功能。所有爬虫节点都连接同一个Redis服务，各自从队列取任务、将新链接推入队列、并用全局去重集合过滤重复请求。
关键组件改造：自定义Scheduler与DupeFilter
默认Scrapy使用内存型调度器和RFPDupeFilter，必须替换为Redis支持的版本：
-
Scheduler：继承
scrapy.core.scheduler.Scheduler，底层用redis.StrictRedis操作List（FIFO/LIFO）或ZSet（优先级队列），重写next_request()和enqueue_request() -
DupeFilter：继承
scrapy.dupefilters.RFPDupeFilter，将request_fingerprint存入Redis Set，request_seen()改查Redis而非本地集合 - 常用方案是直接使用开源库
scrapy-redis，它已封装好上述逻辑，只需配置类路径即可启用
部署结构与配置要点
典型部署包含一个Redis服务器 + 多台运行Scrapy的Worker机器（可同机多进程，也可跨主机）：
- 在
settings.py中启用scrapy_redis组件：
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
REDIS_URL = "redis://127.0.0.1:6379" - 起始URL不再靠
start_urls，而是通过redis-cli或脚本推入Redis：
LPUSH myspider:start_urls "https://example.com/page1" - 所有Worker共用同一
REDIS_KEY前缀（如myspider:requests），确保读写同一队列
去重、断点续爬与监控实践
Redis天然支持断点续爬——只要队列和去重集合未清空，重启任意Worker都能继续工作：
立即学习“Python免费学习笔记（深入）”；
- 去重粒度由
request_fingerprint决定，默认包含URL、method、body、headers等；若需忽略某些参数（如时间戳），需重写request_fingerprint函数 - 已爬URL不会自动持久化，如需审计，可在Pipeline中将成功响应的URL写入Redis Set或外部数据库
- 可用
redis-cli实时查看队列长度：
llen myspider:requests 或
scard myspider:dupefilter
