批处理适合数据量大、时效性要求低、计算逻辑复杂的场景，如日志归档、报表生成、模型训练前的数据清洗，强调稳定性与可重试性，而非实时响应。
批处理适合什么场景
当数据量大、时效性要求低、计算逻辑复杂时，batch processing 是更稳妥的选择。比如日志归档、报表生成、模型训练前的数据清洗——这些任务不依赖实时反馈，反而需要稳定性和可重试性。
常见错误现象：MemoryError 频发、TimeoutError 在实时链路中反复出现，本质是把批处理的负载硬塞进流式通道。
- 用
pandas.read_csv()一次性读全量文件，比用iterrows()边读边处理快 3–5 倍（I/O 主导时） - 避免在批任务里调用外部 HTTP 接口；若必须，加
retry和timeout，否则单个失败拖垮整批 -
chunksize参数不是越大越好：设为 10000 可能压爆内存，5000 更平衡；实测需结合sys.getsizeof()观察单 chunk 占用
实时处理该在哪卡住边界
真正需要 real-time 的，往往只是“亚秒级响应”，而非毫秒级。Python 的 GIL 和解释器开销决定了它不适合高吞吐低延迟场景，但做轻量级事件响应完全可行。
使用场景：用户行为埋点入库、告警规则匹配、IoT 设备心跳续期——这些任务的关键不是快，而是“不丢、不错、可追溯”。
立即学习“Python免费学习笔记（深入）”；
使用模板与程序分离的方式构建，依靠专门设计的数据库操作类实现数据库存取，具有专有错误处理模块，通过 Email 实时报告数据库错误，除具有满足购物需要的全部功能外，成新商城购物系统还对购物系统体系做了丰富的扩展，全新设计的搜索功能，自定义成新商城购物系统代码功能代码已经全面优化，杜绝SQL注入漏洞前台测试用户名：admin密码：admin888后台管理员名：admin密码：admin888
- 别用
threading处理高并发 I/O；改用asyncio+aiohttp或aiokafka，否则线程数一涨就卡死 -
time.sleep(1)在异步循环里等于阻塞整个 event loop；换成await asyncio.sleep(1) - Kafka 消费者用
auto_offset_reset='latest'时，新服务启动会跳过积压消息；生产环境务必设为'earliest'并配合enable_auto_commit=False
混用时怎么避免状态错乱
批和实时共存时，最危险的是共享同一份中间状态，比如都往同一个 sqlite 文件写，或都读写一个 dict 缓存。
典型错误现象：批任务跑完更新了统计值，实时任务却读到旧缓存，导致告警误触发或漏触发。
- 状态分离：批处理写
parquet或csv到/data/processed/，实时任务只读/data/streaming/下的 JSON 行文件 - 时间戳对齐：批任务输出带
batch_end_time字段，实时任务处理时检查事件event_time是否早于该值，早于则丢弃（防重复） - 不要用
global变量存计数器；改用 Redis 的INCR或atomic_add，否则多进程下数值直接飞掉
性能拐点在哪，怎么提前发现
Python 的批与实时没有绝对分界线，只有资源消耗陡增的临界点。这个点通常出现在 CPU 使用率持续 >70% 或内存增长斜率突变时。
容易被忽略的是 GC 压力：大批量对象创建后未显式 del，或循环引用未解，会导致 gc.collect() 频繁触发，CPU 尖刺明显但日志无报错。
- 用
memory_profiler的@profile装饰器定位峰值内存位置，比看 top 更准 - 实时管道加
logging.info(f"msg_size={len(msg)}")，突然出现 10MB+ 消息，大概率是上游序列化出问题 - 批任务启动前先跑
psutil.virtual_memory().available，剩余
