本文将介绍如何在python中实现一个自定义的bag-of-words（bow）模型，以处理包含特殊前缀（如连字符“-”）的词汇。针对传统bow模型将带前缀词汇视为独立特征的问题，本教程将展示如何通过定制化解析逻辑，将这些词汇计为基础词汇的负向出现次数，从而生成更符合特定业务逻辑的特征向量。
1. 理解传统Bag-of-Words模型的局限性
Bag-of-Words (BOW) 模型是自然语言处理中一种常用的文本表示方法，它将文本视为词汇的无序集合，并统计每个词汇在文档中出现的频率。这种模型简单高效，广泛应用于文本分类、情感分析等任务。然而，在某些特定场景下，我们可能需要对词汇的计数方式进行特殊处理。
例如，在一个包含科学术语或特定编码的文档集中，我们可能会遇到形如 Q207KL41 和 -Q207KL41 的词汇。如果 Q207KL41 表示一个正向概念或出现，而 -Q207KL41 表示其负向或缺失，那么在构建特征时，我们期望的是将 -Q207KL41 计为 Q207KL41 的负一次出现，而不是将其作为一个全新的、独立的特征。
标准的 sklearn.feature_extraction.text.CountVectorizer 在处理这类情况时，会默认将 -Q207KL41 和 Q207KL41 识别为两个不同的词元（token），并在特征向量中为它们分别创建列。例如，如果文档中包含 Q207KL41 -Q207KL41 -Q207KL41，CountVectorizer 可能会为 Q207KL41 计数1，为 -Q207KL41 计数2。这与我们期望的 Q207KL41 总计数为 1 - 1 - 1 = -1 的目标不符。为了实现这种带有“负向计数”的BOW模型，我们需要编写一个自定义的向量化函数。
2. 自定义Bag-of-Words向量化方法的实现
为了解决传统 CountVectorizer 的局限性，我们可以构建一个自定义函数来替代它。这个函数的核心逻辑在于：遍历文档中的每个词元，判断其是否以特定前缀（例如连字符“-”）开头。如果存在，则移除前缀，并将该词元的计数符号设为负；否则，计数符号为正。所有处理后的词元都将映射到同一个词汇表中的对应项，并累加其带符号的计数。
立即学习“Python免费学习笔记（深入）”；
以下是实现该自定义BOW模型的Python代码示例：
import io
import pandas as pd
import numpy as np
from collections import defaultdict
def custom_bow_vectorizer(documents: pd.Series) -> pd.DataFrame:
"""
自定义Bag-of-Words向量化函数，支持处理带负号前缀的词汇。
参数:
documents (pd.Series): 包含待处理文本的Pandas Series。
返回:
pd.DataFrame: 包含自定义Bag-of-Words特征的DataFrame。
"""
processed_features = []
# 使用defaultdict来动态构建词汇表，并为每个新词汇分配一个唯一的索引
# vocabulary.default_factory = vocabulary.__len__ 使得每次访问不存在的key时，
# 自动增加并返回当前词汇表的大小作为新词汇的索引。
vocabulary = defaultdict()
vocabulary.default_factory = vocabulary.__len__
for document_text in documents:
feature_counter = defaultdict(int) # 存储当前文档的词汇计数
# 处理非字符串类型数据，例如NaN，将其视为空字符串
if not isinstance(document_text, str):
document_text = ""
for token in document_text.split():
sign = 1
base_token = token
# 检查词元是否以负号开头
if base_token.startswith("-"):
base_token = base_token[1:] # 移除负号前缀
sign = -1 # 设置为负向计数
# 将词元映射到词汇表中的索引，并更新计数
# 如果base_token是空字符串（例如，原始token只有'-'），则跳过
if base_token:
feature_idx = vocabulary[base_token]
feature_counter[feature_idx] += sign
processed_features.append(feature_counter)
# 将所有文档的计数结果转换为DataFrame
# from_records 会自动处理不同文档具有不同词汇的情况，用NaN填充
df = pd.DataFrame.from_records(processed_features)
df = df.fillna(0) # 将NaN填充为0
# 确保列的顺序是基于词汇表索引的，并映射回词汇字符串作为列名
# 创建一个反向映射，从索引到词汇
idx_to_word = {v: k for k, v in vocabulary.items()}
# 按照词汇表的索引顺序获取词汇，以确保DataFrame列的稳定顺序
ordered_columns = [idx_to_word[i] for i in sorted(vocabulary.values())]
# 重排DataFrame的列，使其与词汇表顺序一致
df = df[ordered_columns]
# 优化内存使用，如果计数范围不大（-128到127之间），使用int8
df = df.astype(np.int8)
return df
# 示例数据
s = """
RepID,Txt
1,K9G3P9 4H477 -Q207KL41 98464 Q207KL41
2,D84T8X4 -D9W4S2 -D9W4S2 8E8E65 D9W4S2
3,-05L8NJ38 K2DD949 0W28DZ48 207441 K2D28K84"""
df_reps = pd.read_csv(io.StringIO(s))
# 应用自定义向量化函数
result_df = custom_bow_vectorizer(df_reps["Txt"])
print(result_df)输出结果：
K9G3P9 4H477 Q207KL41 98464 D84T8X4 D9W4S2 8E8E65 05L8NJ38 K2DD949 0W28DZ48 207441 K2D28K84 0 1 1 0 1 0 0 0 0 0 0 0 0 1 0 0 0 0 1 -1 1 0 0 0 0 0 2 0 0 0 0 0 0 0 -1 1 1 1 1
从输出可以看出，对于第一行文本 K9G3P9 4H477 -Q207KL41 98464 Q207KL41，词汇 Q207KL41 出现了两次（一次正向，一次负向），最终计数为 1 + (-1) = 0。对于第二行文本 D84T8X4 -D9W4S2 -D9W4S2 8E8E65 D9W4S2，词汇 D9W4S2 出现一次正向，两次负向，最终计数为 1 + (-1) + (-1) = -1。这完全符合我们的预期。
3. 代码解析与注意事项
3.1 代码解析
-
导入必要的库:
- pandas 用于数据处理，特别是将结果组织成DataFrame。
- numpy 用于数值操作和类型转换，如 np.int8。
- collections.defaultdict 用于高效地构建词汇计数器和动态词汇表。
-
custom_bow_vectorizer 函数:
- processed_features 列表：用于存储每个文档的词汇计数结果（以字典形式）。
- vocabulary = defaultdict(): 创建一个动态词汇表。vocabulary.default_factory = vocabulary.__len__ 这一行是关键。它使得每次访问一个新词汇（即该词汇不在 vocabulary 中）时，defaultdict 会自动为这个新词汇分配一个递增的整数作为其值（索引），并且这个值是当前词汇表的大小。
- 遍历文档: 对 documents Series 中的每一行文本进行处理。
- 处理空文档/非字符串数据: if not isinstance(document_text, str): document_text = "" 确保文本是字符串类型，避免 split() 方法在遇到 NaN 或其他非字符串数据时报错。
- 遍历词元: 使用 document_text.split() 将文本分割成词元。默认按空格分割。
- 判断负号前缀: 检查 token 是否以 "-" 开头。如果是，则将 sign 设为 -1，并移除 token 的前缀以获取 base_token；否则，sign 保持 1。
- 更新计数: feature_counter[vocabulary[base_token]] += sign 将 base_token 映射到其在 vocabulary 中的索引，并根据 sign 更新其在当前文档中的计数。
- 构建DataFrame: pd.DataFrame.from_records(processed_features) 将所有文档的计数字典列表转换为一个DataFrame。由于不同文档可能包含不同的词汇，from_records 会自动处理缺失值，用 NaN 填充。
- 填充缺失值: df.fillna(0) 将所有 NaN 替换为 0，表示该词汇在该文档中未出现。
- 列名映射与排序: 为了使输出DataFrame的列名清晰且有序，我们根据 vocabulary 重新构建列的顺序。idx_to_word 字典用于将词汇索引映射回词汇字符串，然后根据索引排序来确保列的顺序一致性。
- 数据类型优化: df.astype(np.int8) 将DataFrame中的数据类型转换为 int8。如果词汇计数不会超出 [-128, 127] 的范围，这可以显著节省内存，对于大型文本数据集尤其重要。
3.2 注意事项
- 灵活性与定制性: 这种自定义方法提供了极大的灵活性，可以根据具体需求轻松调整词元化（tokenization）规则、前缀处理逻辑或其他计数策略。例如，可以扩展以处理其他特殊符号、组合词或更复杂的语义规则。
