Scrapy的-o参数是一次性输出模式，爬虫结束时统一写入文件，不支持增量或中断恢复；推荐使用FEEDS配置实现JSONLines等流式导出。
scrapy crawl spider_name -o items.json 为什么只导出一次就清空？
因为 -o 是一次性输出模式：Scrapy 在爬虫结束时把所有 yield item 收集起来，统一序列化写入文件。如果中途报错、被 Ctrl+C 中断，或者爬虫 yield 了重复 key 的字典（比如多次 yield 同一个 item 对象引用），文件可能为空或不完整。
- 只适合小规模调试，不支持增量、追加、分片
- 不能和
--nolog或重定向 stdout 混用，否则 JSON 结构会被日志污染 - 若 item 字段含 datetime、Decimal 等非 JSON 原生类型，会直接抛
TypeError: Object of type datetime is not JSON serializable
Feed Exports 配置里 FEEDS 和 FEED_URI 哪个该用？
FEEDS 是新方式（Scrapy 2.1+ 强烈推荐），FEED_URI 已弃用。前者支持多格式、多目标、条件导出；后者只能配一个 URI，且不支持 JSONL、XML 等现代格式的细粒度控制。
-
FEEDS是 dict，key 是文件路径（如"items.json"），value 是导出配置 dict - 必须显式指定
"format"，比如"json"、"jsonlines"、"csv"，不能靠后缀自动推断 - 导出 CSV 时，
"fields"要对齐 item 的 key，漏写会导致列为空；字段含逗号或换行会破坏 CSV 结构，得提前清洗
FEEDS = {
"items.json": {"format": "json", "encoding": "utf-8"},
"items.jl": {"format": "jsonlines"},
"data.csv": {"format": "csv", "fields": ["title", "url", "price"]}
}
JSONLines（.jl）比 JSON（.json）更适合线上导出？
是的。JSONLines 每行一个 JSON 对象，天然支持流式写入、断点续传、按行解析 —— 这对长时间运行的爬虫至关重要。而普通 JSON 是单一大数组，必须等全部 item 收集完才能写入，内存占用高，失败即全丢。
- 用
"format": "jsonlines"时，Scrapy 每 yield 一个 item 就写一行，不缓存 - Python 侧读取
.jl文件只需逐行json.loads(line)，不用json.load(f)整体加载 - 注意：JSONLines 不是标准 JSON，不能直接用
jq '.' items.jl解析，得用jq -r '.' items.jl或cat items.jl | jq -r '.title'
导出 Excel（.xlsx）或数据库要自己写 pipeline？
Scrapy 原生 Feed Exports 不支持 .xlsx、PostgreSQL、Elasticsearch 等，必须写自定义 ItemPipeline。这不是“扩展性差”，而是设计使然：这类目标需要连接管理、事务控制、schema 映射，不适合塞进声明式导出配置里。
立即学习“Python免费学习笔记（深入）”；
- 写 pipeline 时，
open_spider()初始化连接，close_spider()关闭/提交，避免每次process_item()都新建连接 - 导出 Excel 推荐用
openpyxl（支持 .xlsx）或csv模块写 .csv 再用 Excel 打开（更轻量、无依赖） - 别在 pipeline 里做耗时操作（如 HTTP 请求、复杂清洗），会拖慢整个爬取流水线
