python怎么将数据写入CSV文件_python CSV文件写入操作指南

穿越時空

发布时间：2025-09-16 21:10:01

275人浏览过

来源于php中文网

原创

Python写入CSV文件的核心是使用csv模块或pandas库。首先推荐用csv.writer处理列表数据，csv.DictWriter处理字典数据，二者均需设置newline=''和encoding避免空行与乱码；对于含逗号、引号等特殊字符的数据，通过quoting参数（如QUOTE_MINIMAL或QUOTE_ALL）确保格式正确；写入海量数据时，应优先使用writerows()批量写入，结合生成器降低内存占用，或采用pandas的to_csv()提升性能；全程建议使用with语句确保文件正确关闭，保障数据完整性与系统资源释放。

python怎么将数据写入csv文件_python csv文件写入操作指南

Python将数据写入CSV文件，核心思路就是把内存中的结构化数据（比如列表或字典）序列化成逗号分隔的文本格式。最常用且可靠的方式是利用Python内置的

csv

模块，它能很好地处理各种细节，避免手动拼接字符串带来的麻烦。当然，如果数据处理更复杂，

pandas

库会是另一个极其强大的选择。

解决方案

在Python中将数据写入CSV文件，我们通常会用到

csv

模块。这个模块设计得相当周到，能帮你处理CSV格式里那些让人头疼的细节，比如特殊字符的引用（quoting）和行结束符。

最直接的方法是使用

csv.writer

对象。它接受一个文件对象作为参数，然后你就可以用它的

writerow()

方法逐行写入数据，或者用

writerows()

一次性写入多行。

立即学习“Python免费学习笔记（深入）”；

import csv

# 假设我们有一些数据，可以是列表的列表
data_to_write = [
    ['姓名', '年龄', '城市'],
    ['张三', 25, '北京'],
    ['李四', 30, '上海'],
    ['王五', 28, '广州']
]

# 打开文件，注意这里用 'w' 模式表示写入，'newline=''' 很重要，
# 它可以防止在Windows系统上写入时出现额外的空行。
try:
    with open('output_data.csv', 'w', newline='', encoding='utf-8') as csvfile:
        # 创建一个csv写入器对象
        csv_writer = csv.writer(csvfile)

        # 写入表头
        csv_writer.writerow(data_to_write[0])

        # 写入剩余的数据
        csv_writer.writerows(data_to_write[1:])

    print("数据已成功写入 output_data.csv")
except IOError as e:
    print(f"写入文件时发生错误: {e}")
except Exception as e:
    print(f"发生未知错误: {e}")

如果你的数据是以字典的形式组织，那

csv.DictWriter

就显得更方便了。它能自动将字典的键映射到CSV的列名，省去了手动排序的麻烦。

import csv

# 假设我们有一些字典列表形式的数据
dict_data_to_write = [
    {'姓名': '赵六', '年龄': 35, '城市': '深圳'},
    {'姓名': '钱七', '年龄': 22, '城市': '杭州'},
    {'姓名': '孙八', '年龄': 40, '城市': '成都'}
]

# 定义字段名，这会作为CSV的表头
fieldnames = ['姓名', '年龄', '城市']

try:
    with open('output_dict_data.csv', 'w', newline='', encoding='utf-8') as csvfile:
        # 创建DictWriter对象，并指定字段名
        dict_writer = csv.DictWriter(csvfile, fieldnames=fieldnames)

        # 写入表头
        dict_writer.writeheader()

        # 写入数据行
        dict_writer.writerows(dict_data_to_write)

    print("字典数据已成功写入 output_dict_data.csv")
except IOError as e:
    print(f"写入文件时发生错误: {e}")
except Exception as e:
    print(f"发生未知错误: {e}")

至于

pandas

，它在数据分析领域简直是神器。如果你已经习惯用DataFrame来处理数据，那么写入CSV就更简单了，一行代码的事。

import pandas as pd

# 假设我们有一个DataFrame
df_data = pd.DataFrame({
    '产品': ['A', 'B', 'C'],
    '价格': [100, 150, 200],
    '销量': [1000, 800, 1200]
})

try:
    df_data.to_csv('output_pandas_data.csv', index=False, encoding='utf-8')
    print("Pandas DataFrame数据已成功写入 output_pandas_data.csv")
except Exception as e:
    print(f"使用Pandas写入文件时发生错误: {e}")

index=False

是为了避免将DataFrame的索引也写入CSV文件，这通常不是我们想要的。

CSV文件写入时，如何有效处理编码问题，告别恼人的乱码？

编码问题，说实话，是文件操作中最常见的“拦路虎”之一。尤其是在跨平台或者处理来自不同源的数据时，乱码就像个幽灵，时不时就冒出来。核心在于，当我们用

open()

函数打开文件时，一定要明确告诉Python你打算用哪种编码来读写。

在Python 3中，默认的文本文件编码通常是UTF-8，这在绝大多数情况下是个好选择，因为它能支持几乎所有的字符。但在某些特定场景，比如你可能需要和一些老旧系统或者特定地区的软件交互，它们可能习惯使用GBK（中文Windows系统常见）或其他编码。

所以，在

open()

函数里加上

encoding='utf-8'

或者

encoding='gbk'

就显得尤为关键。我个人习惯是，只要没有特殊要求，一律先用

utf-8

。

import csv

data = [['你好', '世界'], ['Python', '编程']]

# 使用UTF-8编码写入
try:
    with open('utf8_output.csv', 'w', newline='', encoding='utf-8') as f:
        writer = csv.writer(f)
        writer.writerows(data)
    print("UTF-8编码文件写入成功。")
except Exception as e:
    print(f"UTF-8写入失败: {e}")

# 如果你需要兼容旧系统，可能需要GBK编码
# 注意：在非Windows系统上，GBK编码可能需要安装额外的编码支持
try:
    with open('gbk_output.csv', 'w', newline='', encoding='gbk') as f:
        writer = csv.writer(f)
        writer.writerows(data)
    print("GBK编码文件写入成功。")
except LookupError:
    print("GBK编码在当前系统可能不支持或未安装。")
except Exception as e:
    print(f"GBK写入失败: {e}")

还有一点非常重要，就是

newline=''

这个参数。它告诉Python，不要在写入CSV文件时自动进行任何行结束符转换。CSV模块自己会处理好行结束符，如果你不加

newline=''

，尤其是在Windows上，可能会导致每行数据后面多出一个空行，这会把文件格式搞得一团糟。我曾经就因为这个小细节，花了不少时间去排查为什么导出的CSV文件总是多空行，真是个隐蔽的坑。

写入含有特殊字符的数据到CSV，Python如何确保格式不乱？

Cutout.Pro

AI驱动的视觉设计平台

下载

CSV文件之所以叫“逗号分隔值”，是因为它通常用逗号来分隔字段。但如果你的数据本身就包含逗号，或者更麻烦的是包含引号（CSV里用来包裹字段的字符），那格式就很容易乱掉。比如

"Hello, World"

，如果直接写入，可能会被解析成两个字段：

"Hello

和

World"

。

这时候，

csv

模块的智能之处就体现出来了。它有一套标准的处理规则，主要通过“引用”（quoting）机制来解决。简单来说，就是当字段内容包含分隔符、引号或者换行符时，整个字段会被双引号包裹起来；如果字段本身就含有双引号，那内部的双引号会被转义成两个双引号。

csv.writer

和

csv.DictWriter

都接受

quoting

参数来控制这种行为：

```
csv.QUOTE_MINIMAL
```
(默认): 只在必要时（字段包含分隔符、引号或换行符）才引用。这是最常用的。
```
csv.QUOTE_ALL
```
: 引用所有字段，不管有没有特殊字符。
```
csv.QUOTE_NONNUMERIC
```
: 引用所有非数字字段。
```
csv.QUOTE_NONE
```
: 不引用任何字段。如果字段内容有特殊字符，那就会出问题。

通常情况下，使用默认的

QUOTE_MINIMAL

就足够了。但如果你想确保所有字段都被引用，比如为了和某些严格的解析器兼容，

QUOTE_ALL

也是个选择。

我们来看个例子：

import csv

# 包含逗号、引号和换行符的数据
special_data = [
    ['商品名称', '描述', '价格'],
    ['T恤', '纯棉，透气，"超舒服"！', '99.99'],
    ['杯子', '陶瓷制品，易碎\n请轻拿轻放', '25.00'],
    ['书', '一本关于Python编程的书籍，很有用', '50.50']
]

try:
    with open('special_chars_output.csv', 'w', newline='', encoding='utf-8') as csvfile:
        writer = csv.writer(csvfile, quoting=csv.QUOTE_MINIMAL) # 默认行为，但明确指定更好
        writer.writerows(special_data)
    print("包含特殊字符的数据已成功写入 special_chars_output.csv (QUOTE_MINIMAL)")

    with open('all_quoted_output.csv', 'w', newline='', encoding='utf-8') as csvfile:
        writer = csv.writer(csvfile, quoting=csv.QUOTE_ALL) # 所有字段都被引用
        writer.writerows(special_data)
    print("所有字段都被引用写入 all_quoted_output.csv (QUOTE_ALL)")

    # 还可以自定义分隔符和引用字符
    with open('custom_delimiter_output.csv', 'w', newline='', encoding='utf-8') as csvfile:
        # 用分号作为分隔符，单引号作为引用字符
        writer = csv.writer(csvfile, delimiter=';', quotechar="'", quoting=csv.QUOTE_MINIMAL)
        writer.writerows(special_data)
    print("自定义分隔符和引用字符写入 custom_delimiter_output.csv")

except Exception as e:
    print(f"写入特殊字符数据时发生错误: {e}")

通过调整

quoting

参数，以及

delimiter

（分隔符）和

quotechar

（引用字符）参数，我们可以非常灵活地控制CSV文件的格式，确保数据在写入和后续读取时都能保持完整和正确。这在处理一些“非标准”CSV文件时特别有用，比如有些系统可能用分号或制表符做分隔符。

处理海量数据写入CSV文件时，Python有哪些性能优化策略和注意事项？

当数据量达到百万、千万甚至上亿级别时，文件I/O操作的性能就成了不得不考虑的问题。Python的

csv

模块本身是C语言实现的，效率已经很高，但我们仍然可以从几个方面去优化。

首先，也是最直接的，就是利用

writerows()

方法。前面我们看到它能接受一个可迭代对象（比如列表的列表），然后一次性将多行数据写入文件。相比于循环调用

writerow()

，

writerows()

能显著减少Python和底层I/O系统之间的交互次数，从而提升效率。

import csv
import time

# 生成大量模拟数据
large_data = [[f'Name_{i}', i, f'City_{i % 10}'] for i in range(1000000)] # 100万行数据

start_time = time.time()
try:
    with open('large_output.csv', 'w', newline='', encoding='utf-8') as csvfile:
        writer = csv.writer(csvfile)
        writer.writerow(['Name', 'ID', 'City']) # 写入表头
        writer.writerows(large_data) # 一次性写入所有数据
    end_time = time.time()
    print(f"使用writerows写入100万行数据耗时: {end_time - start_time:.2f} 秒")
except Exception as e:
    print(f"写入大型数据时发生错误: {e}")

其次，如果你的数据是分块生成的，或者你不想一次性把所有数据都加载到内存中（这对于超大数据集来说是必须的），那么使用生成器（generator）会是个非常优雅的解决方案。生成器能按需生成数据，避免内存溢出。

import csv
import time

def generate_large_data_chunks(num_rows, chunk_size):
    """模拟分块生成数据"""
    for i in range(num_rows):
        yield [f'Name_{i}', i, f'City_{i % 10}']
        if (i + 1) % chunk_size == 0:
            # 可以在这里做一些批处理或日志记录
            pass

num_total_rows = 5000000 # 500万行
chunk_size = 100000 # 每次处理10万行

start_time = time.time()
try:
    with open('large_output_generator.csv', 'w', newline='', encoding='utf-8') as csvfile:
        writer = csv.writer(csvfile)
        writer.writerow(['Name', 'ID', 'City'])
        # 直接将生成器传给writerows
        writer.writerows(generate_large_data_chunks(num_total_rows, chunk_size))
    end_time = time.time()
    print(f"使用生成器写入{num_total_rows}行数据耗时: {end_time - start_time:.2f} 秒")
except Exception as e:
    print(f"使用生成器写入大型数据时发生错误: {e}")

再者，对于真正意义上的“海量数据”，比如GB级别甚至TB级别的数据，