
在许多实际应用中,我们需要将一组数据(超集)分配到多个小组(子集)中,每个小组有其特定的成员数量要求,并且希望每个小组的整体特征(如均值)能与原始总体的特征保持一致。具体来说,给定一个包含m个元素的超集,以及n个目标子集,每个子集需要包含x0, x1, ..., xn-1个元素,且所有子集元素数量之和等于超集元素总数(sum(x0,...,xn-1) == m)。核心目标是使每个子集的均值尽可能接近超集的均值,且分配过程是无放回的。超集中的元素通常是实数(浮点数),且多为正值。
这个问题的挑战在于:
上述问题本质上属于组合优化领域中的集合划分问题(Set Partitioning Problem)的一个变种。在标准的集合划分问题中,目标是将一个集合划分为若干个不相交的子集,使得每个元素恰好属于一个子集,并满足特定条件或最小化/最大化某个目标函数。本案例中,我们不仅要求元素不重复使用,还对子集的数量、大小以及均值提出了具体要求。
对于需要精确或最优解的问题,可以将此问题建模为整数线性规划(Integer Linear Programming, ILP)问题。通过定义决策变量、目标函数和约束条件,我们可以利用专业的优化求解器(如CBC、GLPK、Gurobi等,通过Pulp等Python库调用)来找到最优解。
决策变量:
目标函数:
约束条件:
以下示例展示了如何使用 Pulp 库来解决此问题,以最小化子集总和与目标总和(基于超集均值)之间的绝对误差之和。
from statistics import mean
import pulp
def solve_set_partitioning_with_mean_balance(superset, set_sizes):
"""
使用Pulp库解决子集均值均衡分配问题。
Args:
superset (list): 包含所有元素的超集。
set_sizes (list): 一个列表,表示每个子集所需元素的数量。
Returns:
tuple: (list of lists, list of floats) 包含分配后的子集列表和每个子集的均值。
"""
target_sum_total = sum(superset)
N = len(set_sizes)
# 验证子集大小总和是否等于超集元素数量
assert sum(set_sizes) == len(superset), "子集大小总和必须等于超集元素数量"
# 创建Pulp问题实例
set_partitioning_model = pulp.LpProblem("Set_Partitioning_Model", pulp.LpMinimize)
# 决策变量:covering[s][i] = 1 如果超集元素i分配给子集s,否则为0
covering = {}
for s_idx in range(N):
vals = []
for i, v in enumerate(superset):
vals.append(
pulp.LpVariable(
f"x_s{s_idx}_e{i}_val{v}",
lowBound=0,
upBound=1,
cat=pulp.LpInteger,
)
)
covering[s_idx] = vals
# 辅助变量:set_sum_err_abs[s] 表示子集s总和偏差的绝对值
abs_sum_errs = []
for s_idx in range(N):
abs_sum_errs.append(pulp.LpVariable(f"set_{s_idx}_sum_error_abs"))
# 目标函数:最小化所有子集总和偏差的绝对值之和
set_partitioning_model += pulp.lpSum(abs_sum_errs), "Minimize_Total_Absolute_Error"
# 约束条件
superset_mean = mean(superset)
for s_idx, st_vars in covering.items():
# 计算每个子集的目标总和(基于超集均值)
target_subset_sum = superset_mean * set_sizes[s_idx]
# 计算当前子集的实际总和
current_subset_sum = pulp.lpSum([p * superset[i] for i, p in enumerate(st_vars)])
# 定义子集总和的偏差
set_sum_err = pulp.LpVariable(f"set_{s_idx}_sum_error")
set_partitioning_model += set_sum_err == (current_subset_sum - target_subset_sum), f"Set_{s_idx}_Sum_Error_Definition"
# 绝对值线性化约束
set_partitioning_model += abs_sum_errs[s_idx] >= set_sum_err, f"Abs_Error_Positive_{s_idx}"
set_partitioning_model += abs_sum_errs[s_idx] >= -set_sum_err, f"Abs_Error_Negative_{s_idx}"
# 约束:每个子集的大小必须符合预设
for s_idx, (n, st_vars) in enumerate(zip(set_sizes, covering.values())):
set_partitioning_model += pulp.lpSum(st_vars) == n, f"Set_{s_idx}_Size_Constraint"
# 约束:超集中的每个元素只能被使用一次
for i in range(len(superset)):
# 获取所有子集对应第i个元素的变量
element_vars_across_sets = [covering[s_idx][i] for s_idx in range(N)]
set_partitioning_model += (
pulp.lpSum(element_vars_across_sets) == 1,
f"Element_{i}_Used_Once",
)
# 求解模型
set_partitioning_model.solve()
# 提取结果
allocated_subsets = []
subset_means = []
for s_idx, st_vars in covering.items():
current_subset_elements = [superset[i] for i, p in enumerate(st_vars) if p.value() == 1]
allocated_subsets.append(current_subset_elements)
subset_means.append(mean(current_subset_elements) if current_subset_elements else 0)
return allocated_subsets, subset_means
# 示例 1: 完美分配
superset_1 = [100]*5 + [101]*10 + [102]*5
set_sizes_1 = [2, 4, 14]
print(f"超集均值: {mean(superset_1)}")
subsets_1, means_1 = solve_set_partitioning_with_mean_balance(superset_1, set_sizes_1)
for i, subset in enumerate(subsets_1):
print(f"子集 {i}: {subset}, 均值: {means_1[i]}")
print("\n" + "="*50 + "\n")
# 示例 2: 最佳拟合(无法完美分配)
superset_2 = [100]*5 + [103]*10 + [104]*5
set_sizes_2 = [2, 4, 14]
print(f"超集均值: {mean(superset_2)}")
subsets_2, means_2 = solve_set_partitioning_with_mean_balance(superset_2, set_sizes_2)
for i, subset in enumerate(subsets_2):
print(f"子集 {i}: {subset}, 均值: {means_2[i]}")
示例1输出:
超集均值: 101.0 子集 0: [101, 101], 均值: 101.0 子集 1: [100, 100, 102, 102], 均值: 101.0 子集 2: [100, 100, 100, 101, 101, 101, 101, 101, 101, 101, 101, 102, 102, 102], 均值: 101.0
示例2输出:
超集均值: 102.5 子集 0: [103, 103], 均值: 103.0 子集 1: [100, 100, 104, 104], 均值: 102.0 子集 2: [100, 100, 100, 103, 103, 103, 103, 103, 103, 103, 103, 104, 104, 104], 均值: 102.57142857142857
注意事项:
当精确求解过于耗时,或者对解的精度要求不那么严格时,可以考虑使用启发式算法。Karmarkar-Karp算法(也称为Largest Differencing Method)是一种用于解决数集划分问题(Number Partitioning Problem)的启发式算法,其目标是将一个数集划分为两个子集,使它们的和尽可能接近。通过迭代或扩展,可以将其用于多子集划分。
Karmarkar-Karp算法通过反复取出当前最大的两个数,计算它们的差值,并将差值放回集合中,以此来逐步减小数集中的元素数量,最终得到两个和最接近的子集。
局限性:
尽管存在上述局限性,但作为一种常见的启发式划分方法,这里仍提供其使用示例,以供参考和了解。
from statistics import mean
from numberpartitioning import karmarkar_karp
def partition_with_karmarkar_karp(superset, num_parts):
"""
使用Karmarkar-Karp算法进行数集划分。
注意:此算法不直接支持指定每个子集的大小。
Args:
superset (list): 包含所有元素的超集。
num_parts (int): 目标划分的子集数量。
Returns:
list: 包含划分后子集及其均值的列表。
"""
print(f"超集均值: {mean(superset)}")
results = []
# karmarkar_karp返回一个Partition对象,其中包含partition属性
for p in karmarkar_karp(superset, num_parts=num_parts).partition:
results.append((p, mean(p) if p else 0))
return results
# 示例 2 (与Pulp使用相同的超集,但Karmarkar-Karp不考虑子集大小)
superset_2 = [100]*5 + [103]*10 + [104]*5
num_parts_2 = 3 # 目标划分3个子集
print(f"\n使用Karmarkar-Karp算法进行划分 (不考虑子集大小):")
k_k_results = partition_with_karmarkar_karp(superset_2, num_parts_2)
for subset, subset_mean in k_k_results:
print(f"子集: {subset}, 均值: {subset_mean}, 元素数量: {len(subset)}")
示例2 Karmarkar-Karp输出:
使用Karmarkar-Karp算法进行划分 (不考虑子集大小): 超集均值: 102.5 子集: [104, 104, 103, 103, 103, 100], 均值: 102.83333333333333, 元素数量: 6 子集: [100, 103, 104, 103, 103, 103, 100], 均值: 102.28571428571429, 元素数量: 7 子集: [100, 104, 104, 103, 103, 103, 100], 均值: 102.42857142857143, 元素数量: 7
从输出可以看出,Karmarkar-Karp划分出的子集大小分别为6, 7, 7,这与原始问题中要求的 [2, 4, 14] 并不一致。
对于实际应用,特别是当数据集规模较大时,算法的运行时间至关重要。
精确算法的局限性:基于线性规划的精确算法(如使用Pulp)在理论上能找到最优解,但其计算复杂度随问题规模(超集元素数量、子集数量)呈非线性增长。对于拥有10000个唯一元素、100个子集的问题,即使是先进的求解器,也可能难以在1秒内完成。
启发式方法的潜力:
问题规模与算法选择:
要将超集元素无放回地分配到具有预定大小且均值尽可能接近超集均值的子集,主要有两种思路:
以上就是基于优化算法的子集均值均衡分配策略的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号