Python Pandas生成混合类型虚拟数据：数值与文本的正确姿势-Python教程-PHP中文网

Python Pandas生成混合类型虚拟数据：数值与文本的正确姿势

DDD

发布： 2025-09-19 11:52:22

原创

920人浏览过

Python Pandas生成混合类型虚拟数据：数值与文本的正确姿势

本教程旨在指导用户如何使用Python和Pandas库高效地生成包含数值和文本类型数据的虚拟数据集。文章将深入探讨在生成文本型数据时常见的误区，特别是避免将单一随机值广播到所有行的错误，并详细介绍如何通过列表推导式结合random.choice()方法，为每一行独立生成随机的文本类别数据，确保数据的多样性和准确性。

1. 虚拟数据生成概述

在数据分析、机器学习模型开发或测试阶段，我们经常需要创建虚拟数据集。这些数据集通常包含多种数据类型，例如数值型（如面积、价格）和类别型（如区域、产品类型）。使用python的pandas和numpy库可以高效地完成这项任务。

2. 生成数值型数据

对于数值型数据，numpy.random.randint或numpy.random.uniform等函数是理想的选择。它们允许我们指定数值范围和所需的数据量。

例如，生成50,000行房屋面积和价格数据：

import numpy as np
import pandas as pd

SIZE = 50000 # 定义数据行数，推荐使用变量而非硬编码

np.random.seed(1) # 设置随机种子以确保结果可复现

# 生成面积数据：75到325之间的随机整数
sq_feet_data = np.random.randint(low=75, high=325, size=SIZE)

# 生成价格数据：200,000到1,250,000之间的随机整数
price_data = np.random.randint(low=200000, high=1250000, size=SIZE)

登录后复制

3. 生成文本类别型数据的常见误区

在生成文本类别型数据时，一个常见的错误是尝试使用类似random.randrange(len(word))的方式。这种方法的问题在于：

random.choice(WORDS)：首先从WORDS列表中随机选择一个单词，例如"Pimlico"。
len(word)：计算这个单词的长度，例如len("Pimlico")得到7。
random.randrange(len(word))：生成一个0到6（不包括7）之间的随机整数。
将这个单一的随机整数（例如5）广播到所有50,000行，而不是为每一行生成一个随机的区域名称。

因此，最终结果会是一个所有行的“Borough”列都显示相同数字（例如5）的数据框，这显然不是我们期望的随机文本类别数据。

立即学习“Python免费学习笔记（深入）”；

4. 正确生成文本类别型数据的方法：列表推导式与random.choice()

要为每一行独立生成随机的文本类别数据，我们需要使用random.choice()函数结合列表推导式。random.choice(list)从给定的列表中随机选择一个元素。通过在列表推导式中重复执行此操作SIZE次，我们可以生成一个包含SIZE个随机类别值的列表。

话袋AI笔记

话袋AI笔记, 像聊天一样随时随地记录每一个想法，打造属于你的个人知识库，成为你的外挂大脑

195

查看详情

import random

BOROUGHS = ["Chelsea", "Kensington", "Westminster", "Pimlico", "Bank", "Holborn", "Camden",
            "Islington", "Angel", "Battersea", "Knightsbridge", "Bermondsey", "Newham"]

# 使用列表推导式为每一行生成一个随机区域
borough_data = [random.choice(BOROUGHS) for _ in range(SIZE)]

登录后复制

这里的_是一个占位符变量，表示我们不需要在循环内部使用迭代器的值。range(SIZE)确保了random.choice(BOROUGHS)操作被执行了SIZE次，从而生成了一个长度为SIZE的随机区域列表。

5. 整合所有数据并导出为CSV

将数值型和文本类别型数据整合到一个Pandas DataFrame中，并导出为CSV文件：

# 整合所有数据到DataFrame
data_frame = pd.DataFrame({
    "Sq. feet": sq_feet_data,
    "Price": price_data,
    "Borough": borough_data
})

# 打印DataFrame的前几行以验证结果
print(data_frame.head())

# 将DataFrame保存为CSV文件
# index=False 避免将DataFrame的索引写入CSV文件
data_frame.to_csv("realestate.csv", index=False)

print("\n虚拟数据已成功生成并保存到 realestate.csv")

登录后复制

完整示例代码:

import random
import pandas as pd
import numpy as np

# 定义数据行数，使用常量可提高代码可维护性
SIZE = 50_000

# 定义区域列表，建议使用更具描述性的变量名
BOROUGHS = ["Chelsea", "Kensington", "Westminster", "Pimlico", "Bank", "Holborn",
            "Camden", "Islington", "Angel", "Battersea", "Knightsbridge",
            "Bermondsey", "Newham"]

# 设置随机种子以确保结果可复现
np.random.seed(1)

# 构建DataFrame
data_frame = pd.DataFrame({
    "Sq. feet": np.random.randint(low=75, high=325, size=SIZE),
    "Price": np.random.randint(low=200000, high=1250000, size=SIZE),
    # 正确生成文本类别数据：使用列表推导式和random.choice
    "Borough": [random.choice(BOROUGHS) for _ in range(SIZE)]
})

# 打印DataFrame的前几行
print(data_frame.head())

# 将DataFrame保存为CSV文件，不包含索引
data_frame.to_csv("realestate.csv", index=False)

print("\n虚拟数据已成功生成并保存到 realestate.csv")

登录后复制

输出示例:

   Sq. feet    Price      Borough
0       112   345382      Pimlico
1       310   901500    Battersea
2       215   661033      Holborn
3       147  1038431  Westminster
4       212   296497      Holborn

登录后复制

6. 注意事项与最佳实践

使用常量定义重复值： 对于像数据行数SIZE这样的重复使用的数值，将其定义为一个常量（例如SIZE = 50_000）放置在代码顶部是一个好习惯。这不仅提高了代码的可读性，也便于未来修改参数时只需更改一处。
清晰的变量命名： 将WORDS重命名为更具体的BOROUGHS，可以使代码意图更加明确。
随机种子： 使用np.random.seed()可以确保每次运行代码时，随机数生成的结果都是相同的，这对于调试和结果复现至关重要。
列表推导式： [expression for item in iterable]是Python中一种简洁高效的创建列表的方法，非常适用于批量生成数据。对于本例中的类别数据生成，它比传统的for循环更具可读性和效率。

7. 总结

通过本教程，我们学习了如何使用pandas和numpy库生成包含数值和文本类别数据的虚拟数据集。关键在于理解random.choice()与列表推导式结合使用的强大功能，以避免在生成类别数据时常见的单一值广播错误。遵循这些最佳实践，可以确保生成的数据集既准确又易于维护，为后续的数据分析和模型开发工作打下坚实基础。

以上就是Python Pandas生成混合类型虚拟数据：数值与文本的正确姿势的详细内容，更多请关注php中文网其它相关文章！