本文旨在解决pandas dataframe中将多行数据聚合为单行时，如何同时保留并结构化展示每行特有的详细属性（如不同技术人员的活动及其时间）的挑战。通过利用`groupby().apply()`结合自定义聚合函数，我们能够将组内数据动态转换为指定列，从而在不丢失关键信息的前提下，实现高度定制化的数据扁平化处理，适用于需要将多维度细节整合到单一记录的场景。
在数据分析和处理中，我们经常会遇到需要将DataFrame中的多行记录聚合为单行的情况。然而，当这些多行记录包含需要被单独识别和展示的独特属性时，例如一个工作任务（Job #）可能由多名技术人员（Name）完成，每名技术人员又有多项活动（Timesheet Activity）和对应的活动日期（Timesheet Activity Date），简单的聚合操作（如mean(), sum(), first()）往往会导致信息的丢失或混淆。本教程将深入探讨如何使用Pandas的groupby().apply()方法，结合自定义聚合函数，实现这种复杂的数据扁平化需求，确保所有关键信息都能以结构化、易于理解的方式呈现在最终的单行记录中。
挑战与目标
假设我们有一个包含工作任务详情的DataFrame，其中每个工作任务（Job #）可能有多条记录，代表不同技术人员的不同活动。原始数据示例如下：
| index | Job # | Name | Timesheet Activity | Customer ID | Invoice Date | ... | Timesheet Activity Date | Duration (Decimal) |
|---|---|---|---|---|---|---|---|---|
| 5123 | 56618.0 | Carlos Meza | Driving | 5779854.0 | 2023-10-26 | ... | 2023-10-24, 2023-10-25 | 0.9 |
| 5124124 | 56618.0 | Carlos Meza | Working | 5779854.0 | 2023-10-26 | ... | 2023-10-24, 2023-10-25 | 14.33 |
| 5125 | 56618.0 | Donald Pearson | Driving | 5779854.0 | 2023-10-26 | ... | 2023-10-24, 2023-10-26 | 1.2 |
| ... | ... | ... | ... | ... | ... | ... | ... | ... |
我们的目标是将每个Job #的所有相关信息聚合到一行中，同时为每个技术人员及其各项活动（如驾驶、工作）创建独立的列，以保留其独特的活动日期和持续时间。期望的输出结构示例如下：
| Customer ID | Invoice Date | Job # | Assigned Technicians | Primary Technician | Total Technician Paid Time | Technician #1 | Driving Activity Date(s) #1 | Timesheet Activity #1 | Total Driving Duration (Decimal) #1 | Working Activity Date(s) #1 | Activity #1 | Total Working Time Duration #1 | Technician #2 | ... |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 5779854.0 | 2023-10-26 | 56618.0 | Donald Pearson, Carlos Meza, Joshua Williams | Carlos Meza | 50.88333333 | Carlos Meza | 2023-10-24, 2023-10-25 | Driving | 0.9 | 2023-10-24, 2023-10-25 | Working | 14.33333333 | Donald Pearson | ... |
解决方案核心：groupby().apply()
Pandas的groupby().apply()方法是解决此类复杂聚合问题的强大工具。当标准的聚合函数无法满足需求时，apply()允许我们对每个分组应用一个自定义函数。这个自定义函数可以执行任意复杂的操作，包括遍历组内的行、创建新的列、甚至返回一个全新的Series或DataFrame，从而实现高度灵活的数据转换。
在这种情况下，我们将为每个Job #组定义一个函数。该函数将遍历组内的所有技术人员，并为每个技术人员的每种活动类型动态创建一组新的列来存储其详细信息。
实现自定义聚合函数
为了实现上述目标，我们需要创建一个自定义函数，它接收一个DataFrame组作为输入，并返回一个包含所有聚合信息的Series。
首先，我们准备一个示例DataFrame：
import pandas as pd from io import StringIO # 示例数据 data = """ index,Job #,Name,Timesheet Activity,Customer ID,Invoice Date,Completion Date,Invoice #,Assigned Technicians,Primary Technician,Business Unit,Prevailing Wage,Booked By,Job Number,Timesheet Activity Date,Duration (Decimal) 5123
