本文介绍了如何使用 Pandas 将文件名作为新列或索引添加到 DataFrame 中，特别是在处理从多个文本文件创建的文档-词项矩阵时。通过示例代码，详细展示了如何利用 Path 对象提取文件名，并将其应用于 DataFrame 的创建过程，从而实现更清晰的数据展示和分析。
在数据分析和处理中，经常需要将文件名信息与数据内容关联起来。尤其是在处理大量文本文件时，将文件名添加到 DataFrame 中可以方便地进行数据溯源和分组分析。本文将介绍如何使用 Pandas 实现这一目标，并提供具体代码示例。
方法一：将文件名设置为 DataFrame 的索引
最直接的方法是在创建 DataFrame 时，将文件名列表作为 index 参数传递给 pd.DataFrame() 构造函数。
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from pathlib import Path
import re
# 假设已经有了文本文件列表 corpus 和 count_array
# 以下代码片段展示如何将文件名设置为索引
# 1. 创建文件列表
corpus =[]
for fichier in Path("/Users/MyPath/files").rglob("*.txt"):
corpus.append(fichier.parent / fichier.name)
corpus.sort()
# 2. 创建示例文档数据
all_documents = []
for fichier_txt in corpus:
with open(fichier_txt) as f:
fichier_txt_chaine = f.read()
fichier_txt_chaine = re.sub('[^A-Za-z]', ' ', fichier_txt_chaine)
all_documents.append(fichier_txt_chaine)
# 3. 使用CountVectorizer创建词频矩阵
coun_vect = CountVectorizer(stop_words= "english")
count_matrix = coun_vect.fit_transform(all_documents)
count_array = count_matrix.toarray()
# 4. 创建DataFrame，并将文件名设置为索引
allDataframe = pd.DataFrame(data=count_array, columns=coun_vect.get_feature_names(), index=corpus)
print(allDataframe)这段代码首先创建了一个包含文件路径的列表 corpus。然后，在创建 DataFrame 时，将 corpus 作为 index 传递给 pd.DataFrame()。这样，DataFrame 的每一行就对应一个文件名，方便后续的数据分析。
方法二：提取文件名并设置为索引
如果 corpus 包含的是 Path 对象，并且只需要文件名（例如 "1905.txt"）作为索引，可以使用列表推导式提取文件名：
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from pathlib import Path
import re
# 假设已经有了文本文件列表 corpus 和 count_array
# 以下代码片段展示如何提取文件名并设置为索引
# 1. 创建文件列表
corpus =[]
for fichier in Path("/Users/MyPath/files").rglob("*.txt"):
corpus.append(fichier.parent / fichier.name)
corpus.sort()
# 2. 创建示例文档数据
all_documents = []
for fichier_txt in corpus:
with open(fichier_txt) as f:
fichier_txt_chaine = f.read()
fichier_txt_chaine = re.sub('[^A-Za-z]', ' ', fichier_txt_chaine)
all_documents.append(fichier_txt_chaine)
# 3. 使用CountVectorizer创建词频矩阵
coun_vect = CountVectorizer(stop_words= "english")
count_matrix = coun_vect.fit_transform(all_documents)
count_array = count_matrix.toarray()
# 4. 创建DataFrame，并将文件名设置为索引
allDataframe = pd.DataFrame(data=count_array, columns=coun_vect.get_feature_names(), index=[f.name for f in corpus])
print(allDataframe)这段代码使用 [f.name for f in corpus] 从 Path 对象列表中提取文件名，并将提取结果作为 index 传递给 pd.DataFrame()。
2013年07月06日 V1.60 升级包更新方式：admin文件夹改成你后台目录名，然后补丁包里的所有文件覆盖进去。1.[新增]后台引导页加入非IE浏览器提示，后台部分功能在非IE浏览器下可能没法使用2.[改进]淘客商品管理 首页 列表页 内容页 的下拉项加入颜色来区别不同项3.[改进]后台新增/修改淘客商品，增加淘宝字样的图标和天猫字样图标改成天猫logo图标4.[改进]为统一名称，“分类”改
方法三：提取文件名（不带扩展名）并设置为索引
如果需要去除文件名中的扩展名（例如 ".txt"），可以使用 Path 对象的 stem 属性：
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from pathlib import Path
import re
# 假设已经有了文本文件列表 corpus 和 count_array
# 以下代码片段展示如何提取文件名（不带扩展名）并设置为索引
# 1. 创建文件列表
corpus =[]
for fichier in Path("/Users/MyPath/files").rglob("*.txt"):
corpus.append(fichier.parent / fichier.name)
corpus.sort()
# 2. 创建示例文档数据
all_documents = []
for fichier_txt in corpus:
with open(fichier_txt) as f:
fichier_txt_chaine = f.read()
fichier_txt_chaine = re.sub('[^A-Za-z]', ' ', fichier_txt_chaine)
all_documents.append(fichier_txt_chaine)
# 3. 使用CountVectorizer创建词频矩阵
coun_vect = CountVectorizer(stop_words= "english")
count_matrix = coun_vect.fit_transform(all_documents)
count_array = count_matrix.toarray()
# 4. 创建DataFrame，并将文件名（不带扩展名）设置为索引
allDataframe = pd.DataFrame(data=count_array, columns=coun_vect.get_feature_names(), index=[f.stem for f in corpus])
print(allDataframe)这段代码使用 [f.stem for f in corpus] 从 Path 对象列表中提取不带扩展名的文件名，并将提取结果作为 index 传递给 pd.DataFrame()。
方法四：将文件名作为新列添加到 DataFrame
除了将文件名设置为索引，还可以将其作为新列添加到 DataFrame 中。首先创建 DataFrame，然后添加新列：
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from pathlib import Path
import re
# 假设已经有了文本文件列表 corpus 和 count_array
# 以下代码片段展示如何将文件名作为新列添加到 DataFrame
# 1. 创建文件列表
corpus =[]
for fichier in Path("/Users/MyPath/files").rglob("*.txt"):
corpus.append(fichier.parent / fichier.name)
corpus.sort()
# 2. 创建示例文档数据
all_documents = []
for fichier_txt in corpus:
with open(fichier_txt) as f:
fichier_txt_chaine = f.read()
fichier_txt_chaine = re.sub('[^A-Za-z]', ' ', fichier_txt_chaine)
all_documents.append(fichier_txt_chaine)
# 3. 使用CountVectorizer创建词频矩阵
coun_vect = CountVectorizer(stop_words= "english")
count_matrix = coun_vect.fit_transform(all_documents)
count_array = count_matrix.toarray()
# 4. 创建DataFrame
allDataframe = pd.DataFrame(data=count_array, columns=coun_vect.get_feature_names())
# 5. 添加文件名列
allDataframe['filename'] = [f.name for f in corpus] # 或者 [f.stem for f in corpus]
print(allDataframe)这段代码首先创建 DataFrame，然后使用 allDataframe['filename'] = ... 添加一个名为 "filename" 的新列，并将文件名列表赋值给该列。
注意事项
- 确保 corpus 列表中的文件顺序与 count_array 中的数据行顺序一致。
- 根据实际需求选择合适的文件名提取方式 (f.name 获取完整文件名，f.stem 获取不带扩展名的文件名)。
- 如果文件名中包含特殊字符，可能需要进行额外的处理，以避免在 DataFrame 中出现问题。
总结
本文介绍了四种使用 Pandas 向 DataFrame 添加文件名的方法，包括将文件名设置为索引、提取文件名并设置为索引、提取不带扩展名的文件名并设置为索引，以及将文件名作为新列添加到 DataFrame。选择哪种方法取决于具体的应用场景和数据处理需求。通过这些方法，可以方便地将文件名信息与数据内容关联起来，从而提高数据分析的效率和准确性。
