本文介绍一种安全、高效的方法，通过读取-分流-覆盖三步操作，将csv中符合条件的已使用数据行迁移到“used.csv”，同时更新原文件仅保留未使用数据，避免内存加载全部数据或直接修改文件的风险。
本文介绍一种安全、高效的方法，通过读取-分流-覆盖三步操作，将csv中符合条件的已使用数据行迁移到“used.csv”，同时更新原文件仅保留未使用数据，避免内存加载全部数据或直接修改文件的风险。
在实际数据处理流程（如批量邮件发送、任务分发或ETL预处理）中，常需将“已处理”的记录从主CSV中分离出来，形成清晰的已用/未用数据边界。直接在原文件中“删除行”不可靠（CSV无原生删除机制），而全量加载到内存再写回又存在性能与内存风险。推荐采用流式读取 + 双路写入 + 原地替换的稳健方案。
核心思路：分流写入 + 原文件原子更新
不修改原文件，而是：
- 逐行读取原始CSV；
- 根据业务逻辑（如 row[1] == "Marketing"）判断是否为“已使用行”；
- 将匹配行写入 used.csv，其余行写入临时文件 temp_unused.csv；
- 处理完成后，用 temp_unused.csv 安全覆盖原文件（确保原数据不丢失）。
完整可运行示例代码
import csv
import shutil
import os
def move_used_rows(
input_path: str,
used_path: str,
temp_path: str,
condition_func=None
):
"""
将满足条件的CSV行迁移到used.csv，并更新原文件为剩余行
:param input_path: 原始CSV路径
:param used_path: 已用数据目标路径
:param temp_path: 临时文件路径（用于暂存未用行）
:param condition_func: 接收row(list)返回bool的判断函数；默认为None（即全部视为已用）
"""
if condition_func is None:
condition_func = lambda row: True # 默认迁移全部行（演示用）
# 打开所有文件（注意：newline=''对csv模块至关重要）
with open(input_path, newline='') as f_in, \
open(used_path, "w", newline='') as f_used, \
open(temp_path, "w", newline='') as f_temp:
reader = csv.reader(f_in)
writer_used = csv.writer(f_used)
writer_temp = csv.writer(f_temp)
try:
# 提取并写入表头（若存在）
header = next(reader)
writer_used.writerow(header)
writer_temp.writerow(header)
except StopIteration:
# 空文件，直接退出
return
# 分流写入：满足条件 → used.csv；否则 → temp.csv
for row in reader:
if condition_func(row):
writer_used.writerow(row)
else:
writer_temp.writerow(row)
# ✅ 原子化更新：用temp.csv安全覆盖原文件
shutil.move(temp_path, input_path)
print(f"✅ 迁移完成：{used_path} 已保存已用行，{input_path} 已更新为剩余数据。")
# 示例用法：将Department列为"Marketing"的所有行标记为已用
if __name__ == "__main__":
move_used_rows(
input_path="original.csv",
used_path="used.csv",
temp_path="temp_unused.csv",
condition_func=lambda row: len(row) > 1 and row[1].strip() == "Marketing"
)关键注意事项
- 始终使用 newline=''：避免Windows下csv.writer额外插入空行；
- 优先使用 with 语句：确保文件异常时仍能自动关闭（比原答案更健壮）；
- 临时文件命名需唯一：生产环境建议添加时间戳或UUID，防止并发冲突；
- 原子性保障：shutil.move() 在同一文件系统内是原子操作，可避免覆盖中断导致数据丢失；
- 无头CSV适配：若CSV无表头，删除 next(reader) 相关逻辑，并移除 writer_*.writerow(header) 调用；
- 大文件优化：该方案内存占用恒定（O(1)），适合GB级CSV，无需加载全量数据。
总结
该方法摒弃了“先读后删”的高风险模式，转而通过只读输入 + 双写输出 + 原子替换实现数据状态的精确分离。它兼具安全性（原文件始终受保护）、可扩展性（条件逻辑可任意定制）和工程友好性（错误易排查、流程可审计）。每次执行后，original.csv 即为纯净的待处理队列，used.csv 则成为完整、有序的处理历史记录——真正实现数据生命周期的清晰治理。
