Python教程：高效将JSON中的字典列表写入CSV文件-Python教程-PHP中文网

Python教程：高效将JSON中的字典列表写入CSV文件

本教程旨在指导用户如何使用python高效地将包含字典列表的json数据转换为结构化的csv文件。文章详细介绍了从理解复杂json数据结构到利用强大的pandas库进行数据处理和导出的完整流程，包括示例代码和最佳实践，确保数据能够准确、清晰地写入csv的每一行。

引言

在数据处理和系统集成中，JSON（JavaScript Object Notation）是一种广泛使用的数据交换格式。然而，当需要将这些数据导入到电子表格或数据库中时，CSV（Comma Separated Values）文件格式更为常见。对于简单的扁平化JSON字典，将其键值对直接写入CSV行相对直接。但当JSON数据结构变得复杂，特别是当它包含一个字典列表时，传统的csv模块可能需要更多的手动迭代和处理。本教程将重点介绍如何优雅且高效地处理这种“字典列表”类型的JSON数据，并将其转换为规范的CSV文件。

理解数据结构：从单一字典到字典列表

在处理JSON数据时，首先要明确其结构。最初，您可能遇到的是一个扁平的JSON字典，例如：

{
    "id": 1702,
    "subnet": "10.111.0.0",
    "mask": "21",
    "description": "POD"
    // ... 其他键值对
}

登录后复制

对于这种结构，可以直接提取其键作为CSV的标题行，值作为数据行。

然而，更常见且复杂的情况是，JSON数据中包含一个键，其值是一个字典列表，例如来自API的响应通常会以这种形式返回多个记录：

立即学习“Python免费学习笔记（深入）”；

{
    "data": [
        {"id": 1713, "subnet": "10.111.0.0", "mask": "27", "description": "POD_Site"},
        {"id": 1714, "subnet": "10.111.0.32", "mask": "27", "description": "POD_Site"},
        {"id": 1715, "subnet": "10.111.0.64", "mask": "27", "description": "POD_Site"}
    ]
}

登录后复制

在这种结构中，"data"是一个键，其对应的值是一个列表，而列表的每个元素又是一个独立的字典。我们的目标是让CSV文件中的每一行对应这个列表中的一个字典，字典的键成为CSV的列头，值成为对应列的数据。

解决方案：使用Pandas库

Python的pandas库是处理和分析数据的强大工具，它提供了DataFrame这一核心数据结构，非常适合处理表格型数据。DataFrame能够直接从字典列表构建，并提供了便捷的方法将数据导出到CSV文件，极大地简化了这一过程。

实现步骤

1. 导入必要的库

首先，我们需要导入pandas库。如果您的环境中尚未安装，可以使用pip install pandas进行安装。

import pandas as pd
import json # 如果数据是从JSON字符串加载而来

登录后复制

2. 准备JSON数据

假设我们从API或其他来源获取了一个JSON字符串，并将其解析为Python字典。我们需要定位到包含字典列表的部分。

刺鸟创客

一款专业高效稳定的AI内容创作平台

110

查看详情

# 模拟从API获取的JSON响应
raw_json_data = """
{
    "data": [
        {"id": 1713, "subnet": "10.111.0.0", "mask": "27", "sectionId": 3, "description": "POD_Site", "linked_subnet": null, "firewallAddressObject": null, "vrfId": null, "masterSubnetId": 1702, "allowRequests": 0, "vlanId": null, "showName": 0, "device": null, "permissions": "{\"4\":\"3\"}", "pingSubnet": 0, "discoverSubnet": 0, "resolveDNS": 0, "DNSrecursive": 0, "DNSrecords": 0, "nameserverId": 0, "scanAgent": 0, "customer_id": null, "isFolder": 0, "isFull": 0, "isPool": 0, "tag": 2, "threshold": 0, "location": null, "editDate": null, "lastScan": null, "lastDiscovery": null},
        {"id": 1714, "subnet": "10.111.0.32", "mask": "27", "sectionId": 3, "description": "POD_Site", "linked_subnet": null, "firewallAddressObject": null, "vrfId": null, "masterSubnetId": 1702, "allowRequests": 0, "vlanId": null, "showName": 0, "device": null, "permissions": "{\"4\":\"3\"}", "pingSubnet": 0, "discoverSubnet": 0, "resolveDNS": 0, "DNSrecursive": 0, "DNSrecords": 0, "nameserverId": 0, "scanAgent": 0, "customer_id": null, "isFolder": 0, "isFull": 0, "isPool": 0, "tag": 2, "threshold": 0, "location": null, "editDate": null, "lastScan": null, "lastDiscovery": null},
        {"id": 1715, "subnet": "10.111.0.64", "mask": "27", "sectionId": 3, "description": "POD_Site", "linked_subnet": null, "firewallAddressObject": null, "vrfId": null, "masterSubnetId": 1702, "allowRequests": 0, "vlanId": null, "showName": 0, "device": null, "permissions": "{\"4\":\"3\"}", "pingSubnet": 0, "discoverSubnet": 0, "resolveDNS": 0, "DNSrecursive": 0, "DNSrecords": 0, "nameserverId": 0, "scanAgent": 0, "customer_id": null, "isFolder": 0, "isFull": 0, "isPool": 0, "tag": 2, "threshold": 0, "location": null, "editDate": null, "lastScan": null, "lastDiscovery": null}
    ]
}
"""
parsed_json = json.loads(raw_json_data)

# 提取包含字典列表的部分
data_for_csv = parsed_json["data"]

登录后复制

在实际应用中，parsed_json可能直接是您的API响应对象，或者通过json.loads(res.content)等方式获得。关键是识别出那个包含列表的键（在本例中是"data"），并获取其值。

3. 创建Pandas DataFrame

有了字典列表data_for_csv，创建DataFrame就非常简单了。pandas的DataFrame构造函数可以直接接受一个字典列表，并自动将每个字典转换为一行，字典的键作为列名。

df = pd.DataFrame(data_for_csv)

登录后复制

此时，df就是一个结构化的表格数据，包含了原始JSON数据中的所有信息。您可以通过print(df.head())查看前几行数据，确认其结构。

4. 将DataFrame写入CSV文件

DataFrame对象提供了一个to_csv()方法，用于将数据导出到CSV文件。

df.to_csv('ipamsubnet.csv', index=False, encoding='utf-8')

登录后复制

'ipamsubnet.csv'：指定输出文件的名称。
index=False：这是一个非常重要的参数。默认情况下，to_csv()会将DataFrame的索引（通常是0, 1, 2...）写入CSV文件的第一列。如果您不希望在CSV中包含这个索引列，务必将其设置为False。
encoding='utf-8'：推荐指定编码，以避免在处理包含非ASCII字符（如中文、特殊符号）的数据时出现乱码问题。

完整示例代码

将以上步骤整合，形成一个完整的代码示例：

import pandas as pd
import json

# 模拟从API获取的JSON响应字符串
raw_json_data = """
{
    "data": [
        {"id": 1713, "subnet": "10.111.0.0", "mask": "27", "sectionId": 3, "description": "POD_Site", "linked_subnet": null, "firewallAddressObject": null, "vrfId": null, "masterSubnetId": 1702, "allowRequests": 0, "vlanId": null, "showName": 0, "device": null, "permissions": "{\"4\":\"3\"}", "pingSubnet": 0, "discoverSubnet": 0, "resolveDNS": 0, "DNSrecursive": 0, "DNSrecords": 0, "nameserverId": 0, "scanAgent": 0, "customer_id": null, "isFolder": 0, "isFull": 0, "isPool": 0, "tag": 2, "threshold": 0, "location": null, "editDate": null, "lastScan": null, "lastDiscovery": null},
        {"id": 1714, "subnet": "10.111.0.32", "mask": "27", "sectionId": 3, "description": "POD_Site", "linked_subnet": null, "firewallAddressObject": null, "vrfId": null, "masterSubnetId": 1702, "allowRequests": 0, "vlanId": null, "showName": 0, "device": null, "permissions": "{\"4\":\"3\"}", "pingSubnet": 0, "discoverSubnet": 0, "resolveDNS": 0, "DNSrecursive": 0, "DNSrecords": 0, "nameserverId": 0, "scanAgent": 0, "customer_id": null, "isFolder": 0, "isFull": 0, "isPool": 0, "tag": 2, "threshold": 0, "location": null, "editDate": null, "lastScan": null, "lastDiscovery": null},
        {"id": 1715, "subnet": "10.111.0.64", "mask": "27", "sectionId": 3, "description": "POD_Site", "linked_subnet": null, "firewallAddressObject": null, "vrfId": null, "masterSubnetId": 1702, "allowRequests": 0, "vlanId": null, "showName": 0, "device": null, "permissions": "{\"4\":\"3\"}", "pingSubnet": 0, "discoverSubnet": 0, "resolveDNS": 0, "DNSrecursive": 0, "DNSrecords": 0, "nameserverId": 0, "scanAgent": 0, "customer_id": null, "isFolder": 0, "isFull": 0, "isPool": 0, "tag": 2, "threshold": 0, "location": null, "editDate": null, "lastScan": null, "lastDiscovery": null}
    ]
}
"""

# 1. 解析JSON字符串为Python字典
parsed_json = json.loads(raw_json_data)

# 2. 提取包含字典列表的"data"键的值
data_to_process = parsed_json["data"]

# 3. 使用Pandas创建一个DataFrame
df = pd.DataFrame(data_to_process)

# 4. 将DataFrame写入CSV文件，不包含索引列，并指定UTF-8编码
output_filename = 'ipamsubnet.csv'
df.to_csv(output_filename, index=False, encoding='utf-8')

print(f"数据已成功写入到 {output_filename}")

登录后复制

运行上述代码后，您将在脚本所在的目录下找到一个名为ipamsubnet.csv的文件。打开该文件，您会看到每个字典对应CSV中的一行，并且所有键都作为列标题。

注意事项与最佳实践

处理缺失键（Missing Keys）：如果字典列表中的某些字典缺少某个键，Pandas会自动在对应的列中填充NaN（Not a Number），这在CSV中通常显示为空白。
数据清洗与转换：在将数据写入CSV之前，您可能需要对DataFrame进行进一步的数据清洗、格式化或转换操作。Pandas提供了丰富的函数和方法来完成这些任务，例如处理日期时间、数值转换、字符串操作等。
错误处理：在实际应用中，应考虑文件写入可能失败的情况（如权限问题、磁盘空间不足等），并添加适当的try-except块来捕获和处理这些异常。
大型数据集：对于非常大的JSON数据集，Pandas能够高效处理。但如果内存成为瓶颈，可以考虑分块读取JSON或使用其他流式处理方法。
嵌套字典/列表：如果字典列表中某个字典的值本身又是嵌套的字典或列表，Pandas默认会将其作为单个字符串写入CSV单元格。如果需要将这些嵌套结构扁平化为更多列，则需要额外的预处理步骤（例如，使用json_normalize函数）。

总结

通过本教程，我们学习了如何利用Python的pandas库高效地将包含字典列表的复杂JSON数据转换为结构化的CSV文件。pandas.DataFrame的强大功能和to_csv()方法的便捷性，使得这一常见的数据处理任务变得异常简单和直观。掌握这一技巧，将大大提升您在处理各种数据源时的效率和灵活性。

以上就是Python教程：高效将JSON中的字典列表写入CSV文件的详细内容，更多请关注php中文网其它相关文章！