0

0

Python爬虫怎样使用CSV存储数据_Python爬虫将抓取结果保存为CSV文件方法

爱谁谁

爱谁谁

发布时间:2025-11-18 22:03:06

|

760人浏览过

|

来源于php中文网

原创

答案:python爬虫可用csv模块或pandas将数据保存为csv文件。1. 使用csv模块可写入表头和数据,适合结构化信息存储;2. pandas能自动处理编码与中文,导出更便捷;3. 需用try-except处理异常,with确保文件安全关闭。

python爬虫怎样使用csv存储数据_python爬虫将抓取结果保存为csv文件方法

Python爬虫抓取数据后,使用CSV格式存储是一种简单高效的方式。CSV文件可以用Excel打开,也便于导入数据库或进行数据分析。下面介绍如何在爬虫中将结果保存为CSV文件。

1. 使用内置csv模块写入数据

Python自带的csv模块非常适合处理结构化数据。适合存储表格类信息,比如商品名称、价格、链接等。

基本步骤:

  • 导入csv和open函数打开文件
  • 创建csv.writer对象
  • 写入表头(可选)
  • 逐行写入爬取的数据

示例代码:

立即学习Python免费学习笔记(深入)”;

import csv
import requests
from bs4 import BeautifulSoup
<h1>模拟请求网页</h1><p>url = "<a href="https://www.php.cn/link/ebae6bc5deeca109d899c4ec7d9d30c0">https://www.php.cn/link/ebae6bc5deeca109d899c4ec7d9d30c0</a>"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')</p><h1>提取数据(示例)</h1><p>products = []
for item in soup.find<em>all('div', class</em>='product'):
name = item.find('h2').text.strip()
price = item.find('span', class_='price').text.strip()
link = item.find('a')['href']
products.append([name, price, link])</p><h1>写入CSV文件</h1><p>with open('products.csv', 'w', newline='', encoding='utf-8') as f:
writer = csv.writer(f)</p><h1>写入标题</h1><pre class='brush:python;toolbar:false;'>writer.writerow(['Name', 'Price', 'Link'])
# 写入每条数据
writer.writerows(products)

2. 使用pandas更方便地导出CSV

如果你已经用pandas做数据处理,可以直接把列表或字典转成DataFrame再保存。

AskAI
AskAI

无代码AI模型构建器,可以快速微调GPT-3模型,创建聊天机器人

下载

优点:自动处理编码、支持中文、列对齐整齐。

import pandas as pd
<h1>假设数据是字典列表</h1><p>data = [
{'Name': '手机', 'Price': '¥2999', 'Link': '<a href="https://www.php.cn/link/3688bc5db453523746c83fbedd11a267">https://www.php.cn/link/3688bc5db453523746c83fbedd11a267</a>'},
{'Name': '耳机', 'Price': '¥199', 'Link': '<a href="https://www.php.cn/link/3cd9fd588c126cc9043850408c2c19ab">https://www.php.cn/link/3cd9fd588c126cc9043850408c2c19ab</a>'}
]</p><h1>转为DataFrame并保存</h1><p>df = pd.DataFrame(data)
df.to_csv('products_pandas.csv', index=False, encoding='utf-8-sig')</p>

注意:保存中文时建议用utf-8-sig编码,避免Excel乱码。

3. 处理异常与确保文件安全关闭

网络爬虫可能遇到请求失败、数据缺失等问题,需做好容错。

  • 使用try-except捕获异常
  • 始终用with语句操作文件,确保自动关闭
  • 检查字段是否存在再写入,防止报错

例如:

try:
    with open('data.csv', 'w', newline='', encoding='utf-8') as f:
        writer = csv.writer(f)
        writer.writerow(['Title', 'URL'])
        for item in items:
            title = item.get('title', '未知')
            url = item.get('url', '')
            writer.writerow([title, url])
except Exception as e:
    print(f"保存文件出错: {e}")

基本上就这些。用csv模块适合轻量级项目,pandas更适合后续分析。根据需求选择方法就行。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

76

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

12

2026.01.31

数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

382

2023.06.29

如何删除数据库
如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构,作用包括:1、释放存储空间;2、确保数据的安全性;3、提高数据库的整体性能,加速查询和操作的执行速度。尽管删除数据库具有一些好处,但在执行任何删除操作之前,务必谨慎操作,并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构,无法回滚。

2105

2023.08.14

vb怎么连接数据库
vb怎么连接数据库

在VB中,连接数据库通常使用ADO(ActiveX 数据对象)或 DAO(Data Access Objects)这两个技术来实现:1、引入ADO库;2、创建ADO连接对象;3、配置连接字符串;4、打开连接;5、执行SQL语句;6、处理查询结果;7、关闭连接即可。

357

2023.08.31

MySQL恢复数据库
MySQL恢复数据库

MySQL恢复数据库的方法有使用物理备份恢复、使用逻辑备份恢复、使用二进制日志恢复和使用数据库复制进行恢复等。本专题为大家提供MySQL数据库相关的文章、下载、课程内容,供大家免费下载体验。

259

2023.09.05

vb中怎么连接access数据库
vb中怎么连接access数据库

vb中连接access数据库的步骤包括引用必要的命名空间、创建连接字符串、创建连接对象、打开连接、执行SQL语句和关闭连接。本专题为大家提供连接access数据库相关的文章、下载、课程内容,供大家免费下载体验。

329

2023.10.09

数据库对象名无效怎么解决
数据库对象名无效怎么解决

数据库对象名无效解决办法:1、检查使用的对象名是否正确,确保没有拼写错误;2、检查数据库中是否已存在具有相同名称的对象,如果是,请更改对象名为一个不同的名称,然后重新创建;3、确保在连接数据库时使用了正确的用户名、密码和数据库名称;4、尝试重启数据库服务,然后再次尝试创建或使用对象;5、尝试更新驱动程序,然后再次尝试创建或使用对象。

419

2023.10.16

PHP高性能API设计与Laravel服务架构实践
PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开,重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景,深入分析性能瓶颈定位与优化思路,帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

4

2026.03.04

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 22.5万人学习

Django 教程
Django 教程

共28课时 | 4.7万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号