0

0

Python处理CSV文件的常用方法

絕刀狂花

絕刀狂花

发布时间:2025-06-29 23:27:02

|

464人浏览过

|

来源于php中文网

原创

处理csv文件的常见方法包括使用python内置csv模块和pandas库。1. csv模块适合基础操作,如用csv.reader()读取、csv.writer()写入,也可通过csv.dictreader和csv.dictwriter以字典形式处理带表头的数据;2. pandas适用于复杂数据操作,支持读取、筛选、写入大数据集,并可分块处理大文件;3. 处理大文件时可用逐行读取或设置chunksize参数分批加载,同时注意打开文件时添加newline=''避免换行符问题。根据需求选择合适工具即可。

Python处理CSV文件的常用方法

处理CSV文件是日常编程中非常常见的任务,Python 提供了多种方法来读取、写入和操作 CSV 数据。如果你需要快速上手或优化已有代码,下面这些方法会很实用。

Python处理CSV文件的常用方法

使用内置 csv 模块

Python 自带的 csv 模块是最基础也是最常用的工具之一。它简单易用,适合大多数基本需求。

Python处理CSV文件的常用方法
  • 读取 CSV 文件
    可以使用 csv.reader() 来逐行读取数据。例如:

    import csv
    
    with open('data.csv', newline='') as csvfile:
        reader = csv.reader(csvfile)
        for row in reader:
            print(row)
  • 写入 CSV 文件
    使用 csv.writer() 可以轻松地将列表写入到 CSV 文件中:

    Python处理CSV文件的常用方法
    with open('output.csv', 'w', newline='') as csvfile:
        writer = csv.writer(csvfile)
        writer.writerow(['Name', 'Age'])
        writer.writerow(['Alice', 30])

如果你的数据有字段名(比如表头),可以考虑使用 csv.DictReadercsv.DictWriter,这样可以通过字典的方式访问每一列。

立即学习Python免费学习笔记(深入)”;

使用 pandas 库处理更复杂的情况

当你的数据量较大或者需要进行排序、筛选、合并等操作时,推荐使用 pandas。它基于 NumPy 实现,性能好、功能强。

  • 读取 CSV:pd.read_csv('data.csv')
  • 写入 CSV:df.to_csv('output.csv', index=False)

一个常见场景是读取后筛选某些列再保存:

动易网上商城管理系统 2006 Sp6 Build 1120 普及版
动易网上商城管理系统 2006 Sp6 Build 1120 普及版

将产品展示、购物管理、资金管理等功能相结合,并提供了简易的操作、丰富的功能和完善的权限管理,为用户提供了一个低成本、高效率的网上商城建设方案包含PowerEasy CMS普及版,主要功能模块:文章频道、下载频道、图片频道、留言频道、采集管理、商城模块、商城日常操作模块500个订单限制(超出限制后只能查看和删除,不能进行其他处理) 无订单处理权限分配功能(只有超级管理员才能处理订单)

下载
import pandas as pd

df = pd.read_csv('data.csv')
selected = df[['name', 'score']]
selected.to_csv('selected_data.csv', index=False)

此外,pandas 还支持直接从网络 URL 加载 CSV,比如:

url = 'https://example.com/data.csv'
df = pd.read_csv(url)

这对于数据分析和自动化脚本非常方便。

处理大文件时的小技巧

当你面对的是几百 MB 甚至几 GB 的 CSV 文件时,一次性加载进内存显然不合适。这时候可以考虑逐块读取或者使用生成器。

  • 如果你用 pandas,可以设置 chunksize 参数分批读取:

    for chunk in pd.read_csv('big_file.csv', chunksize=10000):
        process(chunk)  # 假设这是你自己定义的处理函数
  • 对于只读操作,也可以用 csv 模块配合 with open(...) 按行处理,这样内存占用更低。

另外,建议在打开文件时始终加上 newline='' 参数,避免在不同操作系统下出现换行符不一致的问题。


基本上就这些。根据实际需求选择合适的方法即可,小任务用标准库足够,复杂处理还是交给 pandas 更省心。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

76

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

12

2026.01.31

PHP 命令行脚本与自动化任务开发
PHP 命令行脚本与自动化任务开发

本专题系统讲解 PHP 在命令行环境(CLI)下的开发与应用,内容涵盖 PHP CLI 基础、参数解析、文件与目录操作、日志输出、异常处理,以及与 Linux 定时任务(Cron)的结合使用。通过实战示例,帮助开发者掌握使用 PHP 构建 自动化脚本、批处理工具与后台任务程序 的能力。

62

2025.12.13

Swift iOS架构设计与MVVM模式实战
Swift iOS架构设计与MVVM模式实战

本专题聚焦 Swift 在 iOS 应用架构设计中的实践,系统讲解 MVVM 模式的核心思想、数据绑定机制、模块拆分策略以及组件化开发方法。内容涵盖网络层封装、状态管理、依赖注入与性能优化技巧。通过完整项目案例,帮助开发者构建结构清晰、可维护性强的 iOS 应用架构体系。

2

2026.03.03

C++高性能网络编程与Reactor模型实践
C++高性能网络编程与Reactor模型实践

本专题围绕 C++ 在高性能网络服务开发中的应用展开,深入讲解 Socket 编程、多路复用机制、Reactor 模型设计原理以及线程池协作策略。内容涵盖 epoll 实现机制、内存管理优化、连接管理策略与高并发场景下的性能调优方法。通过构建高并发网络服务器实战案例,帮助开发者掌握 C++ 在底层系统与网络通信领域的核心技术。

8

2026.03.03

Golang 测试体系与代码质量保障:工程级可靠性建设
Golang 测试体系与代码质量保障:工程级可靠性建设

Go语言测试体系与代码质量保障聚焦于构建工程级可靠性系统。本专题深入解析Go的测试工具链(如go test)、单元测试、集成测试及端到端测试实践,结合代码覆盖率分析、静态代码扫描(如go vet)和动态分析工具,建立全链路质量监控机制。通过自动化测试框架、持续集成(CI)流水线配置及代码审查规范,实现测试用例管理、缺陷追踪与质量门禁控制,确保代码健壮性与可维护性,为高可靠性工程系统提供质量保障。

68

2026.02.28

Golang 工程化架构设计:可维护与可演进系统构建
Golang 工程化架构设计:可维护与可演进系统构建

Go语言工程化架构设计专注于构建高可维护性、可演进的企业级系统。本专题深入探讨Go项目的目录结构设计、模块划分、依赖管理等核心架构原则,涵盖微服务架构、领域驱动设计(DDD)在Go中的实践应用。通过实战案例解析接口抽象、错误处理、配置管理、日志监控等关键工程化技术,帮助开发者掌握构建稳定、可扩展Go应用的最佳实践方法。

59

2026.02.28

Golang 性能分析与运行时机制:构建高性能程序
Golang 性能分析与运行时机制:构建高性能程序

Go语言以其高效的并发模型和优异的性能表现广泛应用于高并发、高性能场景。其运行时机制包括 Goroutine 调度、内存管理、垃圾回收等方面,深入理解这些机制有助于编写更高效稳定的程序。本专题将系统讲解 Golang 的性能分析工具使用、常见性能瓶颈定位及优化策略,并结合实际案例剖析 Go 程序的运行时行为,帮助开发者掌握构建高性能应用的关键技能。

46

2026.02.28

Golang 并发编程模型与工程实践:从语言特性到系统性能
Golang 并发编程模型与工程实践:从语言特性到系统性能

本专题系统讲解 Golang 并发编程模型,从语言级特性出发,深入理解 goroutine、channel 与调度机制。结合工程实践,分析并发设计模式、性能瓶颈与资源控制策略,帮助将并发能力有效转化为稳定、可扩展的系统性能优势。

24

2026.02.27

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 4.7万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号