0

0

如何在 Snowpark 中正确填充 Decimal 类型列的缺失值

碧海醫心

碧海醫心

发布时间:2026-01-23 18:20:22

|

877人浏览过

|

来源于php中文网

原创

如何在 Snowpark 中正确填充 Decimal 类型列的缺失值

在 snowpark 中使用 `df.na.fill()` 填充缺失值时,若目标列为 `decimaltype`(如 `decimaltype(38, 12)`),直接传入 `int` 或 `float`(如 `0` 或 `0.0`)会因类型不匹配而被跳过;必须显式提供 `decimal.decimal` 实例才能成功填充。

当处理高精度数值列(如空气质量指数 MEDIAN_AQI)时,Snowflake 常将其定义为 DecimalType(precision, scale)(例如 DecimalType(38, 12)),以确保小数位精确可控。但这也意味着 Snowpark 的 na.fill() 方法对类型校验极为严格:整数 0 和浮点数 0.0 均不被视为 Decimal 类型的有效值,因此填充操作会被静默跳过,并抛出提示性警告:

Input value type doesn't match the target column data type, this replacement was skipped. 
Column Name: "MEDIAN_AQI", Type: DecimalType(38, 12), Input Value: 0, Type: 

✅ 正确做法是:为 Decimal 列指定 decimal.Decimal 对象作为填充值。例如:

from decimal import Decimal

# 按列名精确指定填充值(推荐)
df_filled = df.na.fill({
    "MEDIAN_AQI": Decimal(0),        # ✅ 匹配 DecimalType(38, 12)
    "ANOTHER_DECIMAL_COL": Decimal("0.000"),  # ✅ 支持字符串构造,避免浮点精度误差
    "INT_COL": 0                      # ✅ int 可用于 IntegerType/LongType 列
})

⚠️ 注意事项:

萝卜简历
萝卜简历

免费在线AI简历制作工具,帮助求职者轻松完成简历制作。

下载
  • 不要使用 Decimal(0.0) —— 浮点字面量可能引入不可控精度(如 Decimal(0.1) 实际生成 0.10000000000000000555...),应优先用整数或字符串初始化:Decimal(0) 或 Decimal("0.00")。
  • 若需批量处理多个 Decimal 列,可先获取 schema 并动态构建填充字典:
from snowflake.snowpark.types import DecimalType
from decimal import Decimal

fill_dict = {}
for field in df.schema.fields:
    if isinstance(field.datatype, DecimalType):
        # 统一填 0,保留原始精度(scale 不影响填充值构造)
        fill_dict[field.name] = Decimal(0)
df_filled = df.na.fill(fill_dict)

? 替代方案(仅限业务允许时):
若无需超高精度,可将列类型改为 FloatType 或 DoubleType,此时 int/float 值可直接填充:

from snowflake.snowpark.types import FloatType
df_cast = df.with_column("MEDIAN_AQI", df["MEDIAN_AQI"].cast(FloatType()))
df_filled = df_cast.na.fill({"MEDIAN_AQI": 0})  # ✅ now works

但此操作会丢失小数精度与金融级准确性,不建议用于货、科学计算等场景

? 总结:Snowpark 的类型安全机制要求 na.fill() 的填充值与列类型严格一致。面对 DecimalType,唯一可靠方式是使用 decimal.Decimal 实例 —— 这既是最佳实践,也是类型系统设计的必然要求。

相关专题

更多
css中float用法
css中float用法

css中float属性允许元素脱离文档流并沿其父元素边缘排列,用于创建并排列、对齐文本图像、浮动菜单边栏和重叠元素。想了解更多float的相关内容,可以阅读本专题下面的文章。

573

2024.04.28

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

100

2025.10.23

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

278

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

212

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1492

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

622

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

572

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

566

2024.04.29

c++空格相关教程合集
c++空格相关教程合集

本专题整合了c++空格相关教程,阅读专题下面的文章了解更多详细内容。

0

2026.01.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
GO语言核心编程课程
GO语言核心编程课程

共402课时 | 36.8万人学习

PHP数据库编程-MySQLi/PDO
PHP数据库编程-MySQLi/PDO

共11课时 | 1.0万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号