python爬虫存mongodb需工程化：配置分离防泄露，数据清洗保结构，批量写入提性能，索引分片优查询。
Python爬虫把数据存进MongoDB，关键不在“能不能存”，而在“怎么存得稳、查得快、扩得开”。工程化不是堆功能，是让每一步可监控、可回滚、可协作。
连接与配置分离：别把密码写死在代码里
MongoDB连接字符串含敏感信息，硬编码极易泄露。应统一用配置文件（如red">config.yaml）或环境变量管理：
- 用pymongo.MongoClient时，从os.getenv("MONGO_URI")读取连接地址
- 数据库名、集合名也抽成配置项，方便测试环境切dev_db、生产切prod_db
- 加连接超时、socket超时、最大重试次数（如maxPoolSize=10, serverSelectionTimeoutMS=5000），防爬虫卡死在连不上库上
数据清洗前置：入库前做结构校验和轻量去重
MongoDB虽是Schema-less，但混乱字段会拖慢查询、增加聚合复杂度。建议在pipeline中插入清洗层：
- 用pydantic.BaseModel定义数据schema，强制字段类型、必填项、默认值（如publish_time: datetime = Field(default_factory=datetime.now)）
- 对URL、手机号、邮箱等字段做格式标准化（如统一小写、补协议头、去空格）
- 入库前用collection.find_one({"url_hash": hashlib.md5(url.encode()).hexdigest()})查重，避免重复抓取污染数据
批量写入+错误隔离：别用insert_one逐条塞
单条写入吞吐低、网络开销大，且一条失败全报错。工程场景优先用insert_many或bulk_write：
立即学习“Python免费学习笔记（深入）”；
- 每次批量控制在100~500条（根据文档大小调整），避免单次请求超16MB限制
- 开启ordered=False，让失败条目不影响其余数据写入
- 捕获BulkWriteError，提取writeErrors中的具体失败项，记录日志并落盘待重试
索引与分片预设：别等慢了才想起建索引
上线前就该按查询模式建好索引，否则后期加索引会锁表、阻塞写入：
- 高频查询字段（如source_site、crawl_date）建普通索引；组合查询（如{"status": 1, "updated_at": -1}）建复合索引
- 时间范围查询多的集合，考虑用TTL索引自动过期旧数据（如{"expireAt": 1}配expireAfterSeconds=2592000保留30天）
- 单集合数据预计超千万级，提前规划分片键（如按crawl_date哈希或范围分片），避免后期迁移成本爆炸
基本上就这些。工程化不是一步到位，而是每次加一个校验、拆一次配置、多建一个索引——积小流以成江海。
