本文详解 yelp 爬虫遭遇 503 service unavailable 的根本原因，强调遵守 robots.txt、合理限速、解析响应头等关键实践，并提供可落地的 scrapy 改进方案与替代建议。
Yelp 明确禁止未经许可的大规模网页抓取——这不是技术限制，而是法律与服务条款层面的硬性约束。你遇到的 503 Service Unavailable 错误，极大概率并非网络波动，而是 Yelp 服务器主动拒绝请求的结果：它已将你的 IP（或整个代理段）列入临时或永久黑名单。这背后的核心问题在于，当前爬虫设计违背了基本的网络礼仪与反爬对抗常识。
❌ 当前代码中的高危行为
无视 robots.txt
ROBOTSTXT_OBEY = False 是重大警示信号。Yelp 的 robots.txt 明确禁止对 /search、/biz/ 等关键路径的自动抓取。绕过该协议不仅违反 RFC 9309，更直接触发风控系统。无节制翻页 + 缺少延迟
你在 parse() 中循环生成所有分页 URL 并立即 yield response.follow(...)，Scrapy 默认并发请求数为 16，这意味着可能在 1 秒内向 Yelp 发送数十个请求——这与 DDoS 攻击行为特征高度相似。User-Agent 旋转治标不治本
ua.random 仅改变请求头标识，但无法掩盖高频、无延迟、无视响应头的本质问题。Yelp 的防护体系（如 Cloudflare、自研风控）会综合 IP 行为、TLS 指纹、请求节奏、JavaScript 挑战等多维度识别机器人，单一 UA 切换毫无意义。忽略关键响应头信息
如 GitHub API 示例所示，合规服务端必通过 X-RateLimit-*、Retry-After、Server 等 Header 传达限流策略。而你的代码未做任何响应状态检查（如 response.status != 200）或 Header 解析，等于对封禁警告视而不见。
✅ 合规爬取的正确实践
1. 立即停用并重构爬虫
# settings.py —— 关键修正 ROBOTSTXT_OBEY = True # 必须开启，尊重协议 DOWNLOAD_DELAY = 3 # 强制每请求间隔 ≥3 秒（Yelp 建议最低 2s） RANDOMIZE_DOWNLOAD_DELAY = True # 避免固定节奏 CONCURRENT_REQUESTS = 1 # 单线程串行，杜绝并发冲击 AUTOTHROTTLE_ENABLED = True # 启用自动节流（需配合 DOWNLOAD_DELAY） AUTOTHROTTLE_START_DELAY = 3 AUTOTHROTTLE_MAX_DELAY = 10
2. 在 Spider 中主动处理响应
# yelp/spiders/yelp_spider.py
import time
from scrapy import signals
from scrapy.exceptions import CloseSpider
class YelpSpider(scrapy.Spider):
name = 'yelp'
@classmethod
def from_crawler(cls, crawler, *args, **kwargs):
spider = super().from_crawler(crawler, *args, **kwargs)
crawler.signals.connect(spider.spider_closed, signal=signals.spider_closed)
return spider
def parse(self, response):
# ✅ 检查是否被重定向到验证码或拦截页
if 'challenge' in response.url or 'verify' in response.url:
raise CloseSpider('Detected CAPTCHA or blocking page')
# ✅ 检查 HTTP 状态码
if response.status == 503:
self.logger.warning(f"503 received for {response.url}. Pausing 60s...")
time.sleep(60)
yield response.request.replace(dont_filter=True) # 重试
return
# ✅ 解析 RateLimit 头（若存在）
retry_after = response.headers.get('Retry-After')
if retry_after:
delay = int(retry_after) if retry_after.isdigit() else 60
self.logger.info(f"Retry-After header: {delay}s")
time.sleep(delay)
# ✅ 安全提取分页逻辑（避免硬编码 URL 拼接）
pagination = response.css('.pagination-links a::attr(href)').getall()
for next_url in pagination:
if next_url and 'start=' in next_url:
yield response.follow(
next_url,
callback=self.parse_page,
headers={'User-Agent': self.settings.get('USER_AGENT')}
)3. 终极建议：放弃自行爬取，拥抱官方方案
-
使用 Yelp Fusion API（推荐）
注册 Yelp for Developers 获取免费 API Key（每月 5,000 次调用），支持按城市、类别、坐标搜索商家及评论。示例：curl -X GET "https://api.yelp.com/v3/businesses/search?term=restaurants&location=San+Francisco&limit=50" \ -H "Authorization: Bearer YOUR_API_KEY"
-
申请学术/商业数据合作
若需大规模数据，邮件联系 data@yelp.com 提交正式数据使用计划（含用途、规模、存储方案），Yelp 对研究项目常提供定制化支持。 -
采用第三方合规数据服务商
如 Bright Data、Apify 提供预配置、合规的 Yelp 数据集（需付费，但规避法律与技术风险）。
总结：爬虫工程师的底线思维
抓取不是“能不能做到”，而是“应不应该做”。 503 错误是服务器发出的最后通牒，而非技术障碍。真正的专业能力，体现在对服务条款的理解、对基础设施压力的敬畏、以及对替代方案的探索深度。停止对抗，转向合作——这才是可持续获取数据的唯一正道。
