0

0

pandas 如何在 read_csv 时强制列为 nullable string 类型

冷炫風刃

冷炫風刃

发布时间:2026-01-26 18:48:44

|

184人浏览过

|

来源于php中文网

原创

read_csv 时用 dtype="string" 可启用 pandas 1.0+ 的原生可空字符串类型,支持 NaN、None 和 Unicode,避免 object 类型的性能与行为缺陷;需注意 dtype 字典键必须匹配列名、不可混用 str、版本需 ≥1.0,并通过 df[col].dtype == "string" 验证。

pandas 如何在 read_csv 时强制列为 nullable string 类型

read_csv 时用 dtype="string" 强制启用 nullable string

从 pandas 1.0 开始,"string" 是官方推荐的可空字符串类型(对应 StringDtype),它能自然容纳 NaN、空字符串、None 和任意 Unicode 字符,且不转成 object。直接在 dtype 参数里指定列名映射即可:

df = pd.read_csv("data.csv", dtype={"col_a": "string", "col_b": "string"})

注意:"string" 必须是字符串字面量,不是 strpd.StringDtype()(后者虽等价但写法冗余);若整表都需该类型,可用 dtype="string" 全局设置(但会强制所有列走 nullable string,可能误伤数值列)。

为什么不用 object 类型?

object 列看似能存字符串和 NaN,但它本质是 Python 对象引用数组,计算慢、内存高、API 行为不一致(比如 .str.contains() 在含 NaNobject 列上可能报错或返回意外结果)。而 "string" 是 pandas 原生 nullable 类型,支持完整 .str 访问器,且自动处理缺失值语义。

  • 遇到混合类型(如某列含数字字符串 + NaN)时,object 会保留原始类型,"string" 会统一转为字符串("123""45.6"pd.NA
  • object 列调用 .astype("string") 可能触发隐式转换警告;直接 read_csv 指定更干净

常见踩坑:dtype 写错或被 infer_dtype 覆盖

以下情况会导致 "string" 失效:

绘蛙AI商品图
绘蛙AI商品图

电商场景的AI创作平台,无需高薪聘请商拍和文案团队,使用绘蛙即可低成本、批量创作优质的商拍图、种草文案

下载
  • dtype={"col": str} —— 这是 Python 的 str,pandas 仍按旧规则推断,最终得到 object
  • 同时设了 convertersna_values,但没配合 keep_default_na=False,导致某些空值未被识别为 pd.NA
  • pandas 版本低于 1.0("string" 不可用),此时只能降级用 object + 手动 .astype("string")(但部分老版本不支持)
  • 列名拼写错误或大小写不匹配,dtype 字典键没生效

验证是否成功:检查 df["col"].dtype 输出应为 string(不是 object),且 df["col"].isna().sum() 能正确统计 pd.NA 数量。

读取后补救:astype("string") 的边界条件

如果已读入为 object,再转 .astype("string") 多数情况下可行,但要注意:

  • 含 Python Nonenp.nan 的列,astype("string") 会把它们转为 pd.NA(这是期望行为)
  • 含非字符串对象(如 datetime.date、自定义类实例)会抛 TypeError,必须先清洗或过滤
  • 大数据集下,两次解析(先 object 再 string)比一次指定 dtype 更耗内存和时间

真正难处理的是那些在 CSV 中被自动识别为数字/布尔/日期的列——它们进来的 dtype 根本不是 object,而是 int64bool,此时 astype("string") 会失败(int 列含 NaN 时甚至无法直接转)。这种列必须回到 read_csv 阶段用 dtype 强制拦截。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

778

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

685

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

769

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

739

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1445

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

571

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

580

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

752

2023.08.11

拼多多赚钱的5种方法 拼多多赚钱的5种方法
拼多多赚钱的5种方法 拼多多赚钱的5种方法

在拼多多上赚钱主要可以通过无货源模式一件代发、精细化运营特色店铺、参与官方高流量活动、利用拼团机制社交裂变,以及成为多多进宝推广员这5种方法实现。核心策略在于通过低成本、高效率的供应链管理与营销,利用平台社交电商红利实现盈利。

25

2026.01.26

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 21.8万人学习

Django 教程
Django 教程

共28课时 | 3.5万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号