在数据分析和处理中，为数据集中的记录添加分类信息是一项常见的任务。当分类依据可以从现有文本列中提取，并且这种提取涉及到子字符串匹配时，传统的映射方法可能不再适用。本教程将指导您如何利用python的pandas库，结合一个预定义的分类字典，为dataframe动态地创建并填充一个类别列。
场景概述
假设我们有一个包含商品名称和成本的DataFrame，以及一个将关键词映射到类别的字典。我们的目标是根据商品名称中是否包含字典中的关键词，为其分配相应的类别。
示例数据：
一个包含商品名称的DataFrame： | Item | Cost | | :------------------------- | :--- | | apple from happy orchard | 15 | | grape from random vineyard | 20 | | chickpea and black bean mix | 10 | | coffee cup with dog decal | 14 |
一个分类字典：
category_dict = {'apple':'fruit', 'grape':'fruit', 'chickpea':'beans','coffee cup':'tableware'}我们期望的结果是： | Item | Cost | Category | | :------------------------- | :--- | :--------- | | apple from happy orchard | 15 | fruit | | grape from random vineyard | 20 | fruit | | chickpea and black bean mix | 10 | beans | | coffee cup with dog decal | 14 | tableware |
挑战分析
直接使用 df['Item'].map(category_dict) 的方法在这里是无效的，因为map函数要求Item列中的值与category_dict的键完全匹配。然而，在我们的场景中，Item列的值是更长的描述性字符串，而category_dict的键只是这些描述中的子字符串（例如，"apple from happy orchard" 包含 "apple"）。因此，我们需要一种更灵活的匹配机制。
解决方案：使用 apply 方法与 Lambda 函数
Pandas DataFrame的apply方法允许我们对DataFrame的行或列应用一个函数。结合Python的lambda函数，我们可以定义一个自定义的匹配逻辑，遍历字典的键，检查它们是否作为子字符串存在于DataFrame的每个Item中。
以下是实现这一功能的代码示例：
import pandas as pd
# 1. 定义分类字典
category_dict = {'apple': 'fruit', 'grape': 'fruit', 'chickpea': 'beans', 'coffee cup': 'tableware'}
# 2. 创建示例 DataFrame
data = {
'Item': ['apple from happy orchard', 'grape from random vineyard', 'chickpea and black bean mix', 'coffee cup with dog decal'],
'Cost': [15, 20, 10, 14]
}
df = pd.DataFrame(data)
print("原始 DataFrame:")
print(df)
print("-" * 30)
# 3. 使用 apply 和 lambda 函数添加 'Category' 列
# 对于 'Item' 列中的每一个字符串 x：
# 遍历 category_dict 中的每一个键值对 (key, value)
# 如果 key 是 x 的子字符串，则返回对应的 value
# next() 函数会返回第一个匹配到的值
# 如果没有找到任何匹配，则返回 None
df['Category'] = df['Item'].apply(lambda x: next((value for key, value in category_dict.items() if key in x), None))
print("\n添加 'Category' 列后的 DataFrame:")
print(df)代码解释：
- df['Item'].apply(...): 这会将括号内的lambda函数应用于df['Item']列中的每一个元素。
- lambda x: ...: x代表Item列中的当前字符串（例如 "apple from happy orchard"）。
- next((value for key, value in category_dict.items() if key in x), None):
- 这是一个生成器表达式，它遍历category_dict中的所有键值对。
- if key in x: 这是一个条件判断，检查字典的key是否是当前Item字符串x的子字符串。
- 如果条件为真，生成器会产出对应的value。
- next(...): 这个内置函数从生成器中获取下一个（即第一个）值。
- next(..., None): 如果生成器没有产生任何值（即Item字符串中没有匹配到任何字典键），next函数将返回None，而不是抛出StopIteration错误。
注意事项
- 匹配顺序： category_dict.items() 的迭代顺序会影响匹配结果。如果一个Item字符串可能匹配多个字典键（例如，"apple pie" 既包含 "apple" 也可能包含 "pie"），next函数将返回字典中第一个被迭代到的匹配项的类别。如果匹配顺序很重要，您可能需要对字典进行排序，或者调整category_dict.items()的迭代方式。
-
无匹配项处理： 当前的解决方案在没有找到匹配项时会填充None。您可以根据需要将其替换为其他默认值，例如 'Other' 或 np.nan。
# 示例：将未匹配项填充为 'Other' df['Category'] = df['Item'].apply(lambda x: next((value for key, value in category_dict.items() if key in x), 'Other'))
- 性能考量： 对于非常大的DataFrame和/或包含大量键的字典，apply方法在Python循环中执行，可能不如Pandas内置的矢量化操作高效。然而，对于大多数常见场景，这种方法的性能是完全可以接受的。如果性能成为瓶颈，可以考虑使用正则表达式匹配或更高级的文本处理库（如fuzzywuzzy进行模糊匹配）来优化。
- 键的精确性： 确保字典中的键足够精确，以避免意外的匹配。例如，如果有一个键是“apple”，另一个是“pineapple”，那么包含“pineapple”的项可能会意外地匹配到“apple”，这取决于匹配顺序。
总结
通过结合Pandas的apply方法和自定义的lambda函数，我们可以灵活地利用字典为DataFrame添加分类列，即使分类依据是文本列中的子字符串匹配。这种方法提供了一个强大且易于理解的解决方案，适用于处理各种复杂的文本分类需求。理解其背后的匹配逻辑和潜在的注意事项，将帮助您更有效地管理和分析数据。
