引言：理解JSON数据中的NaN问题
在数据处理和交换中，json（javascript object notation）是一种广泛使用的数据格式。然而，在处理从不同源头获取的数据时，我们常常会遇到各种不一致或缺失的值。其中，浮点型“非数字”（not a number, 简称nan）是一个特殊且需要精确处理的类型。尽管标准的json规范不直接支持nan字面量（通常会用null代替或作为字符串存储），但在python等编程语言中解析json时，如果原始数据源包含nan或类似表示，它们可能会被转换为python的float('nan')。
NaN与null（在Python中表示为None）是两种截然不同的概念。null表示一个值不存在或为空，而NaN特指浮点运算中产生的无效或未定义结果（例如0/0）。由于NaN在比较行为上的特殊性（NaN == NaN结果为False），我们不能简单地使用value is None或value == float('nan')来检测它。因此，需要一种专门的方法来准确识别并移除这些浮点NaN值，以确保数据清洁度和后续处理的准确性。
Python中NaN的识别与处理
在Python中，浮点NaN由float('nan')表示。其核心特性是它不等于自身，也不等于任何其他值，包括另一个NaN。
import math
print(float('nan') == float('nan')) # 输出：False
print(float('nan') > 0) # 输出：False
print(float('nan') < 0) # 输出：False这种特殊的比较行为使得常规的相等性检查无法奏效。为了可靠地检测一个值是否为NaN，Python标准库提供了math.isnan()函数。这个函数能够准确判断一个浮点数是否为NaN。
import math
print(math.isnan(float('nan'))) # 输出：True
print(math.isnan(123.45)) # 输出：False
print(math.isnan(None)) # 报错：TypeError, 因为None不是浮点数因此，math.isnan()是我们在JSON数据中识别并过滤NaN值的关键工具。
立即学习“Python免费学习笔记（深入）”；
核心解决方案：基于字典推导式的数据清洗
为了从JSON对象（在Python中通常表示为字典）中移除NaN值，我们可以结合math.isnan()函数和Python的字典推导式。这种方法简洁高效，能够遍历字典的所有键值对，并根据条件选择性地保留非NaN的条目。
假设我们有一个包含多个JSON对象的数据集，每个对象可能含有float('nan')和None。我们的目标是只移除float('nan')。
示例数据准备
首先，我们模拟一个从JSON文件或字符串加载到Python的数据结构。请注意，为了在Python中直接处理，原始JSON中的NaN字面量需要被解析为float('nan')。如果原始JSON文件包含非标准的NaN字符串，可能需要额外的预处理步骤（例如，在加载时使用json.JSONDecoder的parse_constant参数，或者在加载后对字符串进行转换）。本教程假设数据已被正确解析为包含float('nan')的Python对象。
import math
import json
# 模拟从JSON文件加载的数据
# 注意：这里的NaN在Python中被解析为float('nan')
raw_json_data = [
{
"name": "John Doe",
"age": 30,
"height": None, # JSON null，在Python中是None
"weight": float('nan'), # Python NaN
"occupation": "Engineer"
},
{
"name": "Jim Hanks",
"age": float('nan'),
"height": float('nan'),
"weight": float('nan'),
"status": None
},
{
"name": "Jane Smith",
"age": 25,
"city": "New York"
}
]
print("--- 原始数据 (Python表示) ---")
for item in raw_json_data:
print(item)remove_nans_from_object函数实现
我们将创建一个函数，它接受一个字典作为输入，并返回一个移除了所有float('nan')键值对的新字典。
import math
def remove_nans_from_object(obj):
"""
从字典中移除所有值为浮点NaN的键值对。
此函数不移除值为None（JSON中的null）的键值对。
参数:
obj (dict): 待处理的字典对象。
返回:
dict: 移除了NaN值的新字典。
"""
# 使用字典推导式遍历所有键值对
# 条件：如果值不是浮点数，或者值是浮点数但不是NaN，则保留该键值对
return {key: value for key, value in obj.items() if not (isinstance(value, float) and math.isnan(value))}代码解释：
- obj.items()：迭代字典obj中的所有键值对。
- isinstance(value, float)：首先检查当前值value是否为浮点类型。这是必要的，因为math.isnan()只接受浮点数作为参数，对非浮点数调用会引发TypeError。
- math.isnan(value)：如果value是浮点数，则进一步判断它是否为NaN。
- not (...)：这个逻辑表达式确保我们只保留那些“不是浮点NaN”的键值对。换句话说，如果一个值是float('nan')，则isinstance(value, float) and math.isnan(value)为True，not True为False，该键值对就不会被包含在新字典中。
批量处理数据
一旦定义了remove_nans_from_object函数，就可以使用列表推导式将其应用于包含多个JSON对象的列表：
# 应用清洗函数到整个数据集
cleaned_json_data = [remove_nans_from_object(item) for item in raw_json_data]
print("\n--- 清洗后的数据 (Python表示) ---")
for item in cleaned_json_data:
print(item)
# 如果需要将清洗后的数据重新输出为JSON格式
print("\n--- 清洗后的数据 (JSON格式输出) ---")
# json.dumps 默认会将 float('nan') 转换为 null，但在我们这里，NaN已经被移除了。
# 因此，直接将清洗后的Python对象序列化即可。
for item in cleaned_json_data:
print(json.dumps(item, indent=2))输出示例：
--- 原始数据 (Python表示) ---
{'name': 'John Doe', 'age': 30, 'height': None, 'weight': nan, 'occupation': 'Engineer'}
{'name': 'Jim Hanks', 'age': nan, 'height': nan, 'weight': nan, 'status': None}
{'name': 'Jane Smith', 'age': 25, 'city': 'New York'}
--- 清洗后的数据 (Python表示) ---
{'name': 'John Doe', 'age': 30, 'height': None, 'occupation': 'Engineer'}
{'name': 'Jim Hanks', 'status': None}
{'name': 'Jane Smith', 'age': 25, 'city': 'New York'}
--- 清洗后的数据 (JSON格式输出) ---
{
"name": "John Doe",
"age": 30,
"height": null,
"occupation": "Engineer"
}
{
"name": "Jim Hanks",
"status": null
}
{
"name": "Jane Smith",
"age": 25,
"city": "New York"
}可以看到，所有float('nan')的键值对都被成功移除，而None（JSON中的null）值则被保留。
注意事项
-
NaN与None的区别：本教程提供的方案专门针对float('nan')。如果您的需求是同时移除None值（JSON中的null），则需要修改条件：
def remove_nans_and_none_from_object(obj): return {key: value for key, value in obj.items() if not (isinstance(value, float) and math.isnan(value)) and value is not None} -
JSON解析：确保在应用清洗逻辑之前，原始JSON文件中的NaN字面量已经被正确解析为Python的float('nan')。如果它们作为字符串（例如"NaN"）存在，您需要在解析后或清洗前进行额外的转换。例如，使用json.loads()时，可以结合parse_constant参数进行自定义处理，或者在数据加载后对字符串值进行检查和转换。
# 示例：如果JSON中NaN是字符串 "NaN" # raw_json_string = '[{"value": "NaN"}, {"value": 123}]' # data = json.loads(raw_json_string) # 此时 value 仍然是字符串 "NaN" # # 需要额外的处理，例如： # for item in data: # if isinstance(item.get("value"), str) and item["value"].lower() == "nan": # item["value"] = float('nan') - 嵌套结构：上述remove_nans_from_object函数仅处理字典的顶层键值对。如果JSON数据包含嵌套的字典或列表，且其中也可能存在NaN，则需要实现一个递归函数来遍历并清洗所有层级的数据。
- 性能考量：对于非常大的数据集，列表推导式和字典推导式通常比显式循环更高效和Pythonic。对于极端规模的数据，可以考虑使用生成器表达式或专门的数据处理库（如Pandas）来优化性能。
总结
精确移除JSON数据中的浮点NaN值是数据清洗过程中的一个重要环节。通过利用Python的math.isnan()函数和简洁高效的字典推导式，我们可以构建出鲁棒的解决方案来处理这类特殊值。本教程不仅提供了核心代码实现，还强调了NaN与None的区别以及在实际应用中可能遇到的注意事项，帮助开发者更好地管理和维护数据质量，确保后续数据分析和应用能够基于干净、准确的数据进行。
