在数据分析、机器学习模型开发或系统测试中，经常需要创建具有特定结构和数据类型的虚拟数据集。这些数据集通常包含数值型（如整数、浮点数）和分类型（如文本、枚举值）数据。正确地生成这些混合数据类型，并将其整合到如pandas dataframe这样的结构中，是数据预处理的关键一步。
虚拟数据生成概述
生成虚拟数据通常涉及以下几个步骤：
- 定义所需数据的规模（行数）。
- 为每个列确定数据类型和生成规则。
- 利用相应的库（如NumPy用于数值，Python内置random模块用于分类）生成数据。
- 将生成的数据整合到Pandas DataFrame中。
- 将DataFrame导出为文件（如CSV）。
数值型数据生成
对于数值型数据，NumPy库提供了强大的工具。numpy.random.randint函数可以生成指定范围内的随机整数数组，非常适合创建像“面积”或“价格”这样的数值列。
示例：生成平方英尺和价格数据
import numpy as np # 定义数据行数 SIZE = 50000 # 生成“Sq. feet”列：75到325之间的随机整数 sq_feet_data = np.random.randint(low=75, high=325, size=SIZE) # 生成“Price”列：200000到1250000之间的随机整数 price_data = np.random.randint(low=200000, high=1250000, size=SIZE)
这里，low参数指定了随机数的下限（包含），high参数指定了上限（不包含），size参数则指定了生成数组的形状（这里是长度为SIZE的一维数组）。
立即学习“Python免费学习笔记（深入）”；
分类型数据生成
分类型数据（如文本标签）的生成需要从预定义的列表中随机选择元素。一个常见的错误是尝试对整个列应用单次随机选择，或错误地使用random.randrange。random.randrange通常用于生成指定范围内的随机整数索引，而不是直接选择列表中的元素。
正确的做法是使用random.choice函数，并结合列表推导式，为每一行独立地从预定义列表中随机选择一个元素，从而生成一个包含SIZE个随机选择的列表。
示例：生成“Borough”列
假设我们有一个行政区划名称的列表：
import random BOROUGHS = ["Chelsea", "Kensington", "Westminster", "Pimlico", "Bank", "Holborn", "Camden", "Islington", "Angel", "Battersea", "Knightsbridge", "Bermondsey", "Newham"] # 使用列表推导式生成“Borough”列：从BOROUGHS列表中随机选择SIZE次 borough_data = [random.choice(BOROUGHS) for _ in range(SIZE)]
这里的列表推导式[random.choice(BOROUGHS) for _ in range(SIZE)]会迭代SIZE次，每次都从BOROUGHS列表中随机选择一个元素，并将这些选择汇集成一个新的列表，其长度恰好是SIZE。
构建与导出DataFrame
一旦所有列的数据都已生成，就可以使用Pandas的DataFrame构造函数将它们组合起来，并最终导出为CSV文件。
完整示例代码
import random
import pandas as pd
import numpy as np
# 定义数据行数
SIZE = 50_000
# 定义分类数据列表
BOROUGHS = ["Chelsea", "Kensington", "Westminster", "Pimlico", "Bank", "Holborn", "Camden", "Islington", "Angel", "Battersea", "Knightsbridge", "Bermondsey", "Newham"]
# 设置NumPy随机种子以确保数值数据的可复现性
np.random.seed(1)
# 创建DataFrame
data3 = pd.DataFrame({
"Sq. feet": np.random.randint(low=75, high=325, size=SIZE),
"Price": np.random.randint(low=200000, high=1250000, size=SIZE),
"Borough": [random.choice(BOROUGHS) for _ in range(SIZE)] # 使用列表推导式生成分类数据
})
# 将DataFrame保存为CSV文件
# index=False 避免将DataFrame的索引写入CSV文件
data3.to_csv("realestate.csv", index=False)
# 打印DataFrame的前几行以验证
print(data3.head())预期输出示例
Sq. feet Price Borough 0 112 345382 Pimlico 1 310 901500 Battersea 2 215 661033 Holborn 3 147 1038431 Westminster 4 212 296497 Holborn
可以看到，“Borough”列现在包含了预期的文本值，并且每行都是随机选择的。
注意事项与最佳实践
- 使用常量： 将重复使用的数字（如50000）定义为顶部常量（如SIZE），这不仅提高了代码的可读性，也便于后续修改和维护。
- 随机种子： 对于需要可复现结果的场景（尤其是数值数据），使用np.random.seed()设置随机种子非常重要。这样，每次运行代码时，NumPy生成的随机数序列都将是相同的。
- 列表推导式： 列表推导式是Python中一种简洁高效的创建列表的方法，尤其适用于根据现有列表或迭代器生成新列表。在生成大量随机分类数据时，它比传统的for循环更具可读性和性能优势。
-
random.choice与random.randrange：
- random.choice(sequence)：从非空序列中随机选择一个元素。
- random.randrange(start, stop, step)：生成指定范围内的随机整数。理解两者的区别对于避免常见错误至关重要。
总结
通过结合使用NumPy进行数值数据生成和Python内置random模块（配合列表推导式）进行分类数据生成，我们可以高效且灵活地构建复杂的混合型虚拟数据集。Pandas DataFrame作为数据容器，使得数据的组织、操作和导出变得极其便捷。掌握这些技术，将大大提升数据准备阶段的效率和准确性。
