1.使用csv模块读取csv文件，通过csv.reader()处理逗号分隔，注意异常处理和编码设置。2.处理大型csv文件应使用pandas的chunksize参数分块读取，降低内存占用。3.解决编码问题可尝试不同encoding参数或用chardet库自动检测编码。4.跳过错误行可在读取时用try-except捕获异常或检查行长度。5.转换csv数据为字典格式使用csv.dictreader，方便通过字段名访问数据。
Python读取CSV文件，其实核心就是利用
csv模块，简单易用，是数据分析的入门必备技能。
import csv
def read_csv_file(file_path):
"""
读取CSV文件并返回数据列表。
Args:
file_path (str): CSV文件路径。
Returns:
list: CSV文件中的数据，每一行是一个列表。
"""
data = []
try:
with open(file_path, 'r', encoding='utf-8') as file:
csv_reader = csv.reader(file)
header = next(csv_reader) # 读取标题行
for row in csv_reader:
data.append(row)
except FileNotFoundError:
print(f"错误：文件 '{file_path}' 未找到。")
return None
except Exception as e:
print(f"读取文件时发生错误：{e}")
return None
return data
# 示例用法
if __name__ == "__main__":
file_path = 'example.csv' # 替换为你的CSV文件路径
csv_data = read_csv_file(file_path)
if csv_data:
for row in csv_data:
print(row)这段代码的核心在于
csv.reader()，它能帮你把CSV文件按行读取，并自动处理逗号分隔的问题。 记得处理异常，比如文件不存在的情况。
encoding='utf-8'也很重要，防止中文乱码。
如何处理大型CSV文件，避免内存溢出？
大型CSV文件一次性加载到内存可能会导致溢出。 解决方法是使用
pandas库的
chunksize参数，分块读取文件。 这样可以控制每次读取的数据量，有效降低内存占用。
立即学习“Python免费学习笔记（深入）”；
import pandas as pd
def read_large_csv(file_path, chunk_size=1000):
"""
分块读取大型CSV文件。
Args:
file_path (str): CSV文件路径。
chunk_size (int): 每个数据块的大小。
Yields:
DataFrame: CSV文件的一个数据块。
"""
try:
for chunk in pd.read_csv(file_path, chunksize=chunk_size):
yield chunk
except FileNotFoundError:
print(f"错误：文件 '{file_path}' 未找到。")
except Exception as e:
print(f"读取文件时发生错误：{e}")
# 示例用法
if __name__ == "__main__":
file_path = 'large_example.csv' # 替换为你的大型CSV文件路径
for chunk in read_large_csv(file_path, chunk_size=5000):
# 在这里处理每个数据块
print(chunk.head()) # 打印每个数据块的前几行pd.read_csv(file_path, chunksize=chunk_size)会返回一个迭代器，每次迭代返回一个DataFrame。 你可以在循环中处理每个DataFrame，而不用一次性加载整个文件。
CSV文件常见的编码问题及解决方案？
CSV文件编码问题是新手常遇到的坑。 常见的编码格式有UTF-8、GBK、Latin-1等。 如果编码不匹配，读取时会出现乱码。
解决方案：
-
尝试不同的编码格式： 在
open()
函数中指定encoding
参数，例如encoding='gbk'
或encoding='latin-1'
。 -
使用
chardet
库自动检测编码：chardet
可以检测文件的编码格式，然后使用检测到的编码来读取文件。
import chardet
def detect_encoding(file_path):
"""
检测文件的编码格式。
Args:
file_path (str): 文件路径。
Returns:
str: 文件的编码格式。
"""
with open(file_path, 'rb') as file:
raw_data = file.read()
result = chardet.detect(raw_data)
return result['encoding']
def read_csv_with_detected_encoding(file_path):
"""
使用检测到的编码读取CSV文件。
Args:
file_path (str): CSV文件路径。
Returns:
list: CSV文件中的数据，每一行是一个列表。
"""
encoding = detect_encoding(file_path)
if not encoding:
print("无法检测到文件编码。")
return None
data = []
try:
with open(file_path, 'r', encoding=encoding) as file:
csv_reader = csv.reader(file)
header = next(csv_reader)
for row in csv_reader:
data.append(row)
except Exception as e:
print(f"读取文件时发生错误：{e}")
return None
return data
# 示例用法
if __name__ == "__main__":
file_path = 'encoded_example.csv' # 替换为你的CSV文件路径
csv_data = read_csv_with_detected_encoding(file_path)
if csv_data:
for row in csv_data:
print(row)先用
chardet.detect()检测编码，再用检测到的编码打开文件，可以有效解决编码问题。
chardet需要单独安装：
pip install chardet。
如何跳过CSV文件中的错误行或不规范数据？
有时候CSV文件里会有一些格式不规范的行，比如缺少字段、字段数量不对等等，直接读取会报错。
解决方案：
-
使用
try-except
捕获异常： 在循环中读取每一行时，用try-except
捕获可能出现的异常，跳过错误行。 -
使用
csv.reader
的strict
模式：strict=False
可以允许行长度不一致，但需要自己处理这些不规范的行。
import csv
def read_csv_skip_errors(file_path):
"""
跳过错误行读取CSV文件。
Args:
file_path (str): CSV文件路径。
Returns:
list: CSV文件中的数据，跳过错误行。
"""
data = []
try:
with open(file_path, 'r', encoding='utf-8') as file:
csv_reader = csv.reader(file, strict=False)
header = next(csv_reader)
for row in csv_reader:
try:
# 尝试处理每一行，如果出现错误则跳过
if len(row) == len(header): # 检查行长度是否正确
data.append(row)
else:
print(f"跳过不规范的行：{row}")
except Exception as e:
print(f"处理行时发生错误：{e}")
continue
except FileNotFoundError:
print(f"错误：文件 '{file_path}' 未找到。")
return None
except Exception as e:
print(f"读取文件时发生错误：{e}")
return None
return data
# 示例用法
if __name__ == "__main__":
file_path = 'error_example.csv' # 替换为你的CSV文件路径
csv_data = read_csv_skip_errors(file_path)
if csv_data:
for row in csv_data:
print(row)这段代码会在遇到行长度不一致的情况时，打印错误信息并跳过该行。 可以根据实际情况调整错误处理逻辑。
如何将读取的CSV数据转换为字典格式？
有时候我们需要把CSV数据转换成字典格式，方便按字段名访问数据。
解决方案：
使用
csv.DictReader。 它会自动把CSV文件的第一行作为字典的键，后面的每一行作为字典的值。
import csv
def read_csv_to_dict(file_path):
"""
读取CSV文件并转换为字典列表。
Args:
file_path (str): CSV文件路径。
Returns:
list: CSV文件中的数据，每个元素是一个字典。
"""
data = []
try:
with open(file_path, 'r', encoding='utf-8') as file:
csv_reader = csv.DictReader(file)
for row in csv_reader:
data.append(row)
except FileNotFoundError:
print(f"错误：文件 '{file_path}' 未找到。")
return None
except Exception as e:
print(f"读取文件时发生错误：{e}")
return None
return data
# 示例用法
if __name__ == "__main__":
file_path = 'example.csv' # 替换为你的CSV文件路径
csv_data = read_csv_to_dict(file_path)
if csv_data:
for row in csv_data:
print(row['name'], row['age']) # 假设CSV文件有'name'和'age'字段csv.DictReader非常方便，可以直接通过字段名访问数据，避免了使用索引的麻烦。
