本文介绍了如何使用 Pandas 将文件名作为新列或索引添加到 DataFrame 中，尤其是在从多个文本文件创建文档-词项矩阵时。通过示例代码，展示了如何利用 Pathlib 库获取文件名，并将其整合到 DataFrame 中，方便后续的数据分析和可视化。
在数据分析中，经常需要处理来自多个文件的数据。当使用 Pandas 创建 DataFrame 时，将文件名信息添加到 DataFrame 中可以极大地提高数据的可追溯性和可解释性。以下介绍几种方法，可以将文件名添加到 DataFrame 中。
方法一：将文件名作为 DataFrame 的索引
这是最直接的方法，可以在创建 DataFrame 时，直接将文件名列表作为索引传递给 DataFrame 构造函数。
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from pathlib import Path
import re
# 假设你的文本文件都位于 /Users/MyPath/files 目录下
corpus_path = Path("/Users/MyPath/files")
# 创建一个空列表，用于存储所有 txt 文件的路径
corpus = []
# 使用 pathlib 模块获取所有 txt 文件
for fichier in corpus_path.rglob("*.txt"):
corpus.append(fichier)
# 对文件名进行排序
corpus.sort()
# 读取所有文件内容
all_documents = []
for fichier_txt in corpus:
with open(fichier_txt) as f:
fichier_txt_chaine = f.read()
fichier_txt_chaine = re.sub('[^A-Za-z]', ' ', fichier_txt_chaine)
all_documents.append(fichier_txt_chaine)
# 使用 CountVectorizer 进行词频统计
coun_vect = CountVectorizer(stop_words="english")
count_matrix = coun_vect.fit_transform(all_documents)
count_array = count_matrix.toarray()
# 创建 DataFrame，并将文件名作为索引
allDataframe = pd.DataFrame(data=count_array, columns=coun_vect.get_feature_names(), index=[f.name for f in corpus])
print(allDataframe)
allDataframe.to_csv("Matrice_doc_term.csv")这段代码的关键在于 pd.DataFrame 构造函数的 index 参数。我们使用了列表推导式 [f.name for f in corpus] 来提取文件名，并将它们作为 DataFrame 的索引。
方法二：只保留文件名的主干部分（不包含扩展名）
如果只需要文件名的主干部分，可以使用 f.stem 属性。
allDataframe = pd.DataFrame(data=count_array, columns=coun_vect.get_feature_names(), index=[f.stem for f in corpus])
f.stem 属性会返回不包含文件扩展名的文件名。
方法三：将文件名作为新的列添加到 DataFrame 中
虽然将文件名作为索引通常更方便，但在某些情况下，可能需要将文件名作为单独的一列添加到 DataFrame 中。
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from pathlib import Path
import re
# 假设你的文本文件都位于 /Users/MyPath/files 目录下
corpus_path = Path("/Users/MyPath/files")
# 创建一个空列表，用于存储所有 txt 文件的路径
corpus = []
# 使用 pathlib 模块获取所有 txt 文件
for fichier in corpus_path.rglob("*.txt"):
corpus.append(fichier)
# 对文件名进行排序
corpus.sort()
# 读取所有文件内容
all_documents = []
for fichier_txt in corpus:
with open(fichier_txt) as f:
fichier_txt_chaine = f.read()
fichier_txt_chaine = re.sub('[^A-Za-z]', ' ', fichier_txt_chaine)
all_documents.append(fichier_txt_chaine)
# 使用 CountVectorizer 进行词频统计
coun_vect = CountVectorizer(stop_words="english")
count_matrix = coun_vect.fit_transform(all_documents)
count_array = count_matrix.toarray()
# 创建 DataFrame
allDataframe = pd.DataFrame(data=count_array, columns=coun_vect.get_feature_names())
# 添加文件名列
allDataframe['filename'] = [f.name for f in corpus]
print(allDataframe)
allDataframe.to_csv("Matrice_doc_term.csv")这段代码首先创建一个不带索引的 DataFrame，然后使用 allDataframe['filename'] = [f.name for f in corpus] 将文件名列表添加到名为 "filename" 的新列中。
注意事项和总结
- Pathlib 模块： 使用 Pathlib 模块可以更方便地处理文件路径。Pathlib 提供了面向对象的方式来操作文件和目录，使得代码更加简洁和易读。
- 索引 vs 列： 选择将文件名作为索引还是列取决于具体的应用场景。如果需要根据文件名进行快速查找或排序，则将文件名作为索引更合适。如果需要将文件名与其他数据一起进行分析，则将其作为列可能更方便。
- 文件名处理： 可以根据需要对文件名进行进一步处理，例如提取年份、作者等信息。
通过以上方法，你可以灵活地将文件名信息添加到 Pandas DataFrame 中，从而更好地管理和分析你的数据。
