引言
在数据处理和分析过程中，我们经常会遇到缺失值或无效值。其中，NaN (Not a Number) 是一种特殊的浮点数值，常用于表示计算结果未定义或数据缺失。当处理从外部系统（如数据库、API接口）获取的JSON数据时，NaN 值可能会以各种形式存在，例如作为Python的 float('nan') 类型，或者在非标准JSON中直接以 NaN 字面量出现。为了确保数据质量和后续处理的准确性，移除这些 NaN 值是数据清洗的关键一步。本教程将专注于如何使用Python，特别是 math 模块，来高效地识别并移除JSON数据中表示为 float('nan') 的值。
NaN在JSON和Python中的表现
JSON（JavaScript Object Notation）标准本身并不支持 NaN、Infinity 或 -Infinity 这些字面量。在标准的JSON中，表示缺失或空值通常使用 null。然而，在实际应用中，尤其当数据来源于支持这些概念的编程语言（如Python、JavaScript）时，NaN 可能会通过以下方式进入我们的处理流程：
- Python float('nan'): 当Python对象被序列化为JSON时，如果使用了 json.dumps 并设置了 allow_nan=True，则 float('nan') 会被序列化为JSON的 NaN 字面量。反之，如果一个包含 NaN 字面量的非标准JSON字符串被 json.loads 解析，在没有自定义解码器的情况下，它通常会报错。但如果数据源已经将 NaN 值转换为Python的 float('nan')（例如，通过Pandas或其他库加载数据），那么我们就会在Python字典中遇到 float('nan')。
- JSON null: 这是JSON标准中表示空值的唯一方式。在Python中，null 会被解析为 None。本教程的目标是移除 float('nan')，并保留 None（即JSON的 null），这与许多数据清洗场景的需求一致。
本教程将主要关注如何处理已在Python中表示为 float('nan') 的值。
Python中识别NaN的挑战
在Python中，float('nan') 有一个非常特殊的性质：它不等于自身。这意味着，float('nan') == float('nan') 的结果是 False。因此，我们不能简单地使用 == 运算符来判断一个值是否为 NaN。例如：
立即学习“Python免费学习笔记（深入）”；
import math
nan_value = float('nan')
print(nan_value == nan_value) # 输出: False
print(nan_value is nan_value) # 输出: True (因为是同一个对象引用)虽然 is 运算符可以判断是否为同一个对象引用，但如果数据中存在多个不同的 float('nan') 实例，is 也无法准确识别所有 NaN 值。为了可靠地识别 float('nan')，Python的 math 模块提供了 math.isnan() 函数。这个函数专门设计用于检测浮点数是否为 NaN。
核心解决方案：使用 math.isnan() 移除NaN
我们的目标是从字典中移除所有值为 float('nan') 的键值对，同时保留其他类型的值，包括 None。我们可以编写一个辅助函数来实现这一点。
import math
import json # 用于演示JSON加载和输出
def remove_nans(obj: dict) -> dict:
"""
从字典中移除所有值为 Python float('nan') 的键值对。
同时保留值为 None（对应JSON中的 null）的键值对。
Args:
obj (dict): 输入字典。
Returns:
dict: 移除了 NaN 值的字典。
"""
cleaned_obj = {}
for key, value in obj.items():
# 检查值是否为浮点数且为 NaN
# 只有当值是 float 类型，并且 math.isnan() 返回 True 时，才认为是 NaN
if not (isinstance(value, float) and math.isnan(value)):
cleaned_obj[key] = value
return cleaned_obj
代码解析：
- isinstance(value, float): 这一步是关键，它首先确保我们只对浮点数进行 NaN 检查。如果 value 是字符串、整数、None 或其他类型，isinstance 会返回 False，从而避免 math.isnan() 对非浮点数类型抛出错误。
- math.isnan(value): 当 value 确定为浮点数后，math.isnan() 会准确判断它是否为 NaN。
- not (...): 整个条件 not (isinstance(value, float) and math.isnan(value)) 意味着：如果 value 不是一个浮点数 NaN，那么我们就将其保留在 cleaned_obj 中。这样就实现了对 float('nan') 值的过滤。
实战示例
假设我们有一个包含多个记录的JSON文件，其中一些字段包含 NaN 值（在Python中已解析为 float('nan')）。
模拟输入数据（Python字典列表）：
# 模拟从JSON文件加载后的数据
# 注意：实际的JSON文件不能直接包含 NaN 字面量，
# 这里的 float('nan') 是假设 JSON 解析器已将其转换为 Python 浮点数 NaN。
data_with_nans = [
{
"name": "John Doe",
"age": 30,
"height": None, # 对应 JSON 的 null
"weight": float('nan'),
"city": "New York"
},
{
"name": "Jim Hanks",
"age": float('nan'),
"height": float('nan'),
"weight": float('nan'),
"occupation": "Actor"
},
{
"name": "Jane Smith",
"age": 25,
"height": 1.70,
"weight": 60.5
}
]
print("--- 原始数据 ---")
for item in data_with_nans:
print(item)
# 应用 remove_nans 函数处理数据
processed_data = [remove_nans(row) for row in data_with_nans]
print("\n--- 处理后的数据 ---")
for item in processed_data:
print(item)
# 如果需要将处理后的数据再次输出为JSON格式（假设允许 NaN 的序列化）
# import json
# try:
# json_output = json.dumps(processed_data, indent=2, allow_nan=True)
# print("\n--- 处理后并序列化为JSON ---")
# print(json_output)
# except ValueError as e:
# print(f"\n序列化为JSON时发生错误: {e}")
# print("注意：标准JSON不支持NaN字面量，如果 allow_nan=False 会报错。")输出结果：
--- 原始数据 ---
{'name': 'John Doe', 'age': 30, 'height': None, 'weight': nan, 'city': 'New York'}
{'name': 'Jim Hanks', 'age': nan, 'height': nan, 'weight': nan, 'occupation': 'Actor'}
{'name': 'Jane Smith', 'age': 25, 'height': 1.7, 'weight': 60.5}
--- 处理后的数据 ---
{'name': 'John Doe', 'age': 30, 'height': None, 'city': 'New York'}
{'name': 'Jim Hanks', 'occupation': 'Actor'}
{'name': 'Jane Smith', 'age': 25, 'height': 1.7, 'weight': 60.5}从输出可以看出，所有 float('nan') 值的键值对都被成功移除了，而 None 值（对应JSON的 null）以及其他有效数据都被保留。
注意事项
-
JSON解析问题： 如果您的原始JSON文件直接包含 NaN 字面量（例如 {"value": NaN}），标准的 json.loads() 函数会抛出 ValueError。在这种情况下，您可能需要：
- 在加载前对JSON字符串进行预处理，将其中的 NaN 替换为 null 或其他可解析的值。
- 使用自定义的JSON解码器来处理 NaN 字面量。 本教程假设 NaN 已经通过某种方式被正确解析为Python的 float('nan')。
-
None 与 NaN 的区别： 请明确您的需求。本教程的解决方案是精确地移除 float('nan')，并保留 None。如果您也想移除 None 值，可以修改 remove_nans 函数的条件，例如：
# 如果也想移除 None 值 if value is not None and not (isinstance(value, float) and math.isnan(value)): cleaned_obj[key] = value -
嵌套结构： 上述 remove_nans 函数仅处理字典的顶层键值对。如果您的JSON数据包含嵌套的字典或列表，并且 NaN 值可能出现在深层结构中，那么您需要一个递归函数来遍历整个数据结构。例如：
def remove_nans_recursive(obj): if isinstance(obj, dict): return {k: remove_nans_recursive(v) for k, v in obj.items() if not (isinstance(v, float) and math.isnan(v))} elif isinstance(obj, list): return [remove_nans_recursive(elem) for elem in obj] else: return obj
总结
处理JSON数据中的 NaN 值是数据清洗中一个常见且重要的任务。由于 float('nan') 在Python中具有不等于自身的特殊性质，我们不能依赖简单的等值比较。通过利用 math.isnan() 函数，并结合 isinstance() 进行类型检查，我们可以构建一个健壮且高效的解决方案，精确地识别并移除数据中的 float('nan') 值。掌握这种方法，能够帮助您更好地管理和清洗数据，为后续的数据分析和应用奠定坚实的基础。
