优先选关系型数据库（如MySQL/PostgreSQL）当数据结构稳定、需强关联查询；NoSQL（如MongoDB）更适配字段多变、写多读少场景；真实项目常混合使用SQL存核心元数据、NoSQL存原始快照、Redis缓存统计。
爬虫数据该存SQL还是NoSQL，关键看数据结构、查询需求和扩展节奏——不是技术越新越好，而是匹配业务实际。
结构稳定、需强关联查？优先选关系型数据库（如MySQL/PostgreSQL）
如果你爬的是电商商品页，字段固定（标题、价格、SKU、分类ID、上架时间），且常要“查某类目下近7天降价超20%的商品”，或需要连接店铺表、评论表做聚合分析，SQL天然支持JOIN、事务、索引优化和复杂WHERE条件，维护成本低、一致性高。
- 用CREATE TABLE明确定义字段类型（如price DECIMAL(10,2)比VARCHAR更安全）
- 给常用查询字段（如category_id、crawl_time）加复合索引
- 插入前用INSERT IGNORE或ON CONFLICT避免重复主键冲突（尤其处理增量抓取）
结构多变、写多读少、要快速落地？NoSQL（如MongoDB）更灵活
爬社交媒体或新闻聚合页时，字段常不统一：有的带视频链接，有的含多级评论嵌套，有的突然新增“是否被平台标记”字段。MongoDB的文档模型允许每条记录自由增删字段，无需改表结构；批量插入性能高，适合每小时爬万级页面的场景。
- 用_id字段存URL哈希值，天然去重且加速单条查询
- 嵌套字段（如comments数组）直接存JSON结构，省去拆表关联
- 定期用聚合管道（$group + $sum）统计每日采集量，比SQL建视图更轻量
别硬选，混合用才是常见解法
真实项目中，核心业务数据（如用户绑定的爬取任务配置、账号状态）走MySQL保一致；原始HTML快照、解析中间结果、日志级详情存MongoDB留弹性。再加一层Redis缓存高频访问的统计结果（如“最近10条热搜词”），三者各司其职。
立即学习“Python免费学习笔记（深入）”；
- MySQL存task_id、user_id、status、updated_at等调度元数据
- MongoDB按{task_id: "...", timestamp: ISODate(...), raw_html: "...", parsed: {...}} 存每次抓取快照
- Redis用HASH存各任务的实时进度（"task:123:stats" → {"success":1245,"failed":3}）
存储前先想清楚这三件事
技术选型前停一秒：数据会不会被下游系统直接读？是否要支持模糊搜索（like '%关键词%'）？未来半年字段预计变几次？这三个问题的答案，往往比语法差异更能决定用SQL还是NoSQL。
- 要被BI工具直连分析 → 优先SQL，ODBC/JDBC支持成熟
- 需全文检索（如从正文找政策原文）→ Elasticsearch比两者都合适，可作为补充层
- 字段每月都新增 → MongoDB schema-less优势明显，但得配套写字段监控脚本，防意外空字段拖垮查询
