Python教程：高效计算文本文件中指定列的最后N个值的和与平均值-Python教程-PHP中文网

Python教程：高效计算文本文件中指定列的最后N个值的和与平均值

DDD

发布： 2025-10-21 12:10:32

原创

922人浏览过

Python教程：高效计算文本文件中指定列的最后N个值的和与平均值

本文详细介绍了如何使用python高效地从文本文件中读取数据，并计算指定列（例如第二列）中最后n个数值的总和与平均值。教程通过分析常见错误，提供了一个简洁且优化的解决方案，涵盖了文件读取、数据处理和聚合计算的关键步骤，旨在帮助读者掌握处理结构化文本数据的高级技巧。

在日常数据处理中，我们经常需要从结构化文本文件（如日志文件、数据报告等）中提取特定信息并进行统计分析。一个常见的需求是计算文件中某一列的最后N个数值的总和或平均值。本教程将以一个包含日期和数值的两列文本文件为例，演示如何使用Python实现这一功能。

理解问题与常见误区

假设我们有一个名为lista.txt的文件，内容如下：

08/12/2023 81.3
09/12/2023 80.8
10/12/2023 80.9
11/12/2023 81.0
12/12/2023 81.1
13/12/2023 81.5
14/12/2023 80.1
15/12/2023 81.0
16/12/2023 80.9
17/12/2023 80.6

登录后复制

我们的目标是计算第二列（数值列）中最后7个值的总和与平均值。

在尝试解决此类问题时，初学者可能会遇到一些误区，例如：

立即学习“Python免费学习笔记（深入）”；

闪念贝壳

闪念贝壳是一款AI 驱动的智能语音笔记，随时随地用语音记录你的每一个想法。

218

查看详情

重复读取文件： 尝试多次打开同一个文件进行不同的操作，这会降低效率。
不正确的切片： 错误地理解文件句柄或迭代器不支持直接切片操作。
计算逻辑错误： 将所有值的总和除以N，而不是仅将最后N个值的总和除以N。

为了避免这些问题，我们需要一个更加高效和准确的方法。

优化解决方案

Python提供了一种简洁而强大的方式来处理文件内容。核心思路是：

一次性读取文件的所有行到内存中。
利用列表切片功能获取最后N行。
遍历这N行，提取第二列的数值并进行求和。
计算平均值。

下面是实现这一功能的完整Python代码：

# 定义文件路径
file_path = '/storage/emulated/0/Python/lista.txt'
# 定义需要计算的最后N个值的数量
N = 7

try:
    # 使用with语句打开文件，确保文件在使用完毕后自动关闭
    with open(file_path, 'r') as f:
        # 读取文件的所有行到一个列表中
        lines = f.readlines()

    # 检查文件行数是否足够
    if len(lines) < N:
        print(f"警告：文件中的行数（{len(lines)}）少于请求的N值（{N}）。将计算所有行的总和和平均值。")
        last_lines = lines
        N_actual = len(lines) # 实际用于计算的行数
    else:
        # 使用列表切片获取最后N行
        last_lines = lines[-N:]
        N_actual = N

    # 使用生成器表达式和sum()函数高效计算第二列值的总和
    # line.split()[1] 将每行按空格分割，取第二个元素（索引为1），并转换为浮点数
    mysum = sum(float(line.split()[1]) for line in last_lines)

    # 计算平均值
    if N_actual > 0:
        average = mysum / N_actual
    else:
        average = 0.0 # 如果没有行，平均值为0

    # 打印结果
    print(f"文件 '{file_path}' 中最后 {N_actual} 个值的总和为: {mysum}")
    print(f"文件 '{file_path}' 中最后 {N_actual} 个值的平均值为: {average}")

except FileNotFoundError:
    print(f"错误：文件 '{file_path}' 未找到。请检查文件路径是否正确。")
except IndexError:
    print(f"错误：文件 '{file_path}' 中的某行数据格式不正确，无法解析第二列。")
except ValueError:
    print(f"错误：文件 '{file_path}' 中的某行第二列数据无法转换为数字。")
except Exception as e:
    print(f"发生未知错误: {e}")

登录后复制

代码解析

file_path = '...': 定义了待处理文件的完整路径。
N = 7: 定义了我们需要计算的最后值的数量。
with open(file_path, 'r') as f:: 这是Python中处理文件的推荐方式。它确保文件在操作完成后，无论是否发生错误，都会被正确关闭。'r'表示以只读模式打开文件。
lines = f.readlines(): 这是关键一步。它会一次性读取文件中的所有行，并将它们存储在一个列表中，每行作为列表的一个元素（包含换行符）。
if len(lines) < N:: 增加了一个健壮性检查，以防文件中的行数少于我们请求的N值。在这种情况下，我们会计算所有现有行的总和和平均值。
last_lines = lines[-N:]: 列表切片操作。[-N:]表示从列表的倒数第N个元素开始，直到列表末尾。这高效地提取了我们需要的最后N行数据。
mysum = sum(float(line.split()[1]) for line in last_lines):
- 这是一个非常高效且Pythonic的写法。它使用了生成器表达式。
- for line in last_lines: 遍历last_lines列表中的每一行。
- line.split(): 对每一行字符串进行分割。默认情况下，split()会根据空格分割字符串，并返回一个字符串列表。例如，"17/12/2023 80.6".split()会得到['17/12/2023', '80.6']。
- [1]: 访问分割后列表的第二个元素（索引为1），即数值字符串。
- float(...): 将数值字符串转换为浮点数。
- sum(...): 对所有转换后的浮点数进行求和。
average = mysum / N_actual: 计算总和除以实际用于计算的行数，得到平均值。
错误处理（try...except块）: 增加了对FileNotFoundError、IndexError和ValueError等常见错误的捕获，提高了程序的健壮性。

注意事项与扩展

文件大小： 对于非常大的文件（GB级别），f.readlines()可能会一次性加载所有内容到内存，导致内存溢出。在这种情况下，可以考虑使用collections.deque配合迭代器来高效地获取文件的最后N行，而无需将整个文件加载到内存。
数据格式： 确保文件中第二列的数据确实是数字，否则float()转换会失败并抛出ValueError。如果数据可能包含非数字字符，需要增加更复杂的验证逻辑。
列分隔符： 如果文件不是以空格分隔，而是以逗号、制表符或其他字符分隔，需要修改line.split()为line.split(',')或line.split('\t')等。
通用性： 可以将N和file_path作为函数的参数，使代码更具通用性，方便在不同场景下复用。
数据清洗： 在实际应用中，数据可能不总是那么规整。可能需要添加额外的逻辑来处理空行、不完整的行或格式异常的行。

总结

本教程提供了一个简洁高效的Python解决方案，用于从文本文件中提取并计算指定列的最后N个值的总和与平均值。通过一次性读取文件、利用列表切片和生成器表达式，我们能够编写出既易于理解又性能良好的代码。同时，我们也强调了在实际应用中需要考虑的错误处理和性能优化策略，以确保代码的健壮性和适用性。掌握这些技巧将有助于您更有效地处理各类结构化文本数据。

以上就是Python教程：高效计算文本文件中指定列的最后N个值的和与平均值的详细内容，更多请关注php中文网其它相关文章！