CSV文件中的意外空白行现象
在使用python的 csv 模块生成csv文件时，开发者有时会遇到一个令人困惑的问题：生成的csv文件在某些文本编辑器或操作系统中打开时，每行数据之间会出现一个不必要的空白行。这不仅影响了文件的美观性，也可能对后续的数据处理造成干扰。
例如，预期的数据格式应该是这样的：
Canada1,CAN,66.7631001973005,327464,124124083,37.208477068753076,42.055800430596044,Tree1,Sport1,Energy1 Canada2,CAN,63.42569986832592,845406,2564,99.41705285611631,58.367586898438226,Tree2,Sport2,Energy2 ...
然而，实际生成的CSV文件却可能显示为：
Canada1,CAN,66.7631001973005,327464,124124083,37.208477068753076,42.055800430596044,Tree1,Sport1,Energy1 Canada2,CAN,63.42569986832592,845406,2564,99.41705285611631,58.367586898438226,Tree2,Sport2,Energy2 ...
每条数据记录之间都插入了一个空白行。
问题根源：行终止符的差异
这个问题的根本原因在于不同操作系统和 csv 模块默认的行终止符处理方式。
立即学习“Python免费学习笔记（深入）”；
- csv.writer 的默认行为： 默认情况下，csv.writer 在写入每一行数据后，会使用 \r\n (回车符+换行符，即CRLF) 作为行终止符。这是Windows系统上文本文件的标准行终止符。
- 文件打开模式与Python的通用换行符： 当使用 open() 函数以文本模式（例如 'w'）打开文件时，Python会默认进行“通用换行符转换”。这意味着在写入时，Python会将 \n 转换为操作系统的默认行终止符（在Windows上是\r\n，在Linux/macOS上是\n）。
- 双重换行： 如果你在Python代码中手动在每行数据末尾添加了 \n，然后 csv.writer 又添加了 \r\n，或者更常见的情况是，csv.writer 写入的 \r\n 在某些非Windows系统或特定的文本编辑器中被误解。这些系统/编辑器可能将 \r 解释为一个换行符，然后又将 \n 解释为另一个换行符，从而导致每行数据之间出现一个额外的空白行。
原始代码示例（导致问题的代码）
以下是一个典型的Python随机数据生成器，它使用了 csv.writer 来写入数据，但可能导致上述空白行问题：
import random
import os
import csv
def generate_data_csv(rand_file_name, no_entries):
file_name = "temp.csv"
# 第一次写入：生成数据到临时文件
with open(file_name, 'w', encoding='UTF8') as f:
writefile = csv.writer(f) # 默认 lineterminator='\r\n'
for i in range(1, no_entries+1):
country_name=("Canada" + str(i))
country_code="CAN"
access_to_electricity=(random.uniform(0.0, 100.0))
renewable_electricity_output=(random.randint(1000,1000000))
total_electricity_output=(random.randint(1000,1000000))
tot_final_energy_consumption=(random.uniform(0.0, 100.0))
renewable_energy_consumption=(random.uniform(0.0, 100.0))
national_tree=("Tree" + str(i))
most_popular_sport=("Sport" + str(i))
primary_energy_consumption=("Energy" + str(i))
row = [country_name,country_code,access_to_electricity,renewable_electricity_output,total_electricity_output,tot_final_energy_consumption,renewable_energy_consumption,national_tree,most_popular_sport,primary_energy_consumption]
writefile.writerow(row) # 写入一行，并添加默认的 '\r\n'
# 第二次写入：读取临时文件，随机化顺序，再写入目标文件
with open(file_name,'r') as source:
csvreader = csv.reader(source)
data = [ (random.random(), line) for line in csvreader ]
data.sort()
with open(rand_file_name,'w') as target:
writefile = csv.writer(target) # 同样是默认 lineterminator='\r\n'
for _, line in data:
writefile.writerow(line) # 写入一行，并添加默认的 '\r\n'
os.remove(file_name)
# 调用示例
# generate_data_csv("output.csv", 10)在这段代码中，csv.writer 在两次写入文件时都使用了其默认的行终止符行为，即在每行数据后添加 \r\n。
解决方案：明确指定 lineterminator 参数
解决此问题的最直接方法是，在创建 csv.writer 对象时，明确指定 lineterminator 参数为 '\n'。这将强制 csv.writer 使用单个换行符 (LF) 作为行终止符，而不是默认的 CRLF (\r\n)。
通过将 lineterminator='\n' 传递给 csv.writer，我们确保了每行只使用一个换行符，从而避免了在某些系统上被解释为双重换行的问题。
修正后的代码示例
将上述解决方案应用到数据生成器中，修改后的关键部分如下：
import random
import os
import csv
def generate_data_csv_fixed(rand_file_name, no_entries):
file_name = "temp.csv"
# 第一次写入：生成数据到临时文件
# 注意：在打开文件时使用 newline='' 是处理CSV文件的最佳实践，
# 它可以防止Python进行通用换行符转换，与 lineterminator 配合使用效果更佳。
with open(file_name, 'w', encoding='UTF8', newline='') as f:
writefile = csv.writer(f, lineterminator='\n') # 明确指定行终止符为 '\n'
for i in range(1, no_entries+1):
country_name=("Canada" + str(i))
country_code="CAN"
access_to_electricity=(random.uniform(0.0, 100.0))
renewable_electricity_output=(random.randint(1000,1000000))
total_electricity_output=(random.randint(1000,1000000))
tot_final_energy_consumption=(random.uniform(0.0, 100.0))
renewable_energy_consumption=(random.uniform(0.0, 100.0))
national_tree=("Tree" + str(i))
most_popular_sport=("Sport" + str(i))
primary_energy_consumption=("Energy" + str(i))
row = [country_name,country_code,access_to_electricity,renewable_electricity_output,total_electricity_output,tot_final_energy_consumption,renewable_energy_consumption,national_tree,most_popular_sport,primary_energy_consumption]
writefile.writerow(row)
# 第二次写入：读取临时文件，随机化顺序，再写入目标文件
# 同样，打开文件时使用 newline=''，并指定 lineterminator='\n'
with open(file_name,'r', newline='') as source: # 读取时也建议使用 newline=''
csvreader = csv.reader(source)
data = [ (random.random(), line) for line in csvreader ]
data.sort()
with open(rand_file_name,'w', encoding='UTF8', newline='') as target:
writefile = csv.writer(target, lineterminator='\n') # 明确指定行终止符为 '\n'
for _, line in data:
writefile.writerow(line)
os.remove(file_name)
# 调用示例
# generate_data_csv_fixed("output_fixed.csv", 10)通过在 csv.writer 的初始化中加入 lineterminator='\n'，生成的CSV文件将不再出现额外的空白行。
注意事项与最佳实践
- newline='' 参数： 在使用 csv 模块读写文件时，强烈推荐在 open() 函数中始终使用 newline='' 参数。这会禁用Python的通用换行符转换机制，让 csv 模块能够完全控制行终止符，从而避免许多潜在的换行符问题。
- 跨平台兼容性： 将 lineterminator 设置为 '\n' (LF) 通常能提供更好的跨平台兼容性，尤其是在类Unix系统（Linux, macOS）上查看文件时。大多数现代文本编辑器和操作系统都能正确处理 LF 作为换行符。
- Excel兼容性： 尽管Windows的标准行终止符是 \r\n，但Excel通常也能很好地处理只包含 \n 作为行终止符的CSV文件。因此，将 lineterminator 设置为 '\n' 通常不会对Excel的加载造成问题。
- 一致性： 无论是在写入临时文件还是最终文件时，都应保持 lineterminator 设置的一致性，以确保整个过程中的文件格式统一。
总结
当Python csv.writer 生成的CSV文件出现额外空白行时，这通常是由于 csv.writer 默认的 \r\n 行终止符与文件查看器或操作系统的换行符解释方式不兼容所致。通过在 csv.writer 的初始化中明确指定 lineterminator='\n'，并结合 open() 函数的 newline='' 参数，可以有效地解决这个问题，确保生成的CSV文件格式整洁、跨平台兼容性良好。掌握这一技巧对于编写健壮的Python数据处理脚本至关重要。
