Python批量处理CSV文件，提取指定列并保留原文件名
本文介绍如何使用Python批量处理多个CSV文件，提取指定列的数据，并保持输出文件名与输入文件名的一致性。 这对于需要从大量CSV文件中提取特定信息的情况非常有用。
首先，我们需要导入必要的库：os用于文件路径操作，pandas用于高效处理CSV数据。
接下来，按照以下步骤进行操作：
-
获取CSV文件路径: 使用
os.listdir()列出当前目录下所有文件，并筛选出以.csv结尾的文件，得到完整的路径列表。 -
循环处理每个CSV文件: 遍历文件路径列表，对每个CSV文件进行处理。
-
读取CSV文件: 使用
pandas.read_csv()函数读取每个CSV文件到一个Pandas DataFrame中。 -
提取指定列: 根据列名（例如
'column_name'）提取所需的列数据。 -
处理重复值（可选）: 如果需要去除重复值，可以使用
drop_duplicates()方法。 这需要指定检查重复值的列。 -
保存输出文件: 使用
to_csv()方法将提取的列数据保存为新的CSV文件。 文件名使用原文件名加上前缀（例如'output_'），确保与原文件对应。
示例代码:
import os
import pandas as pd
# 获取当前工作目录
cwd = os.getcwd()
# 获取所有CSV文件的路径
csv_files = [os.path.join(cwd, file) for file in os.listdir(cwd) if file.endswith('.csv')]
# 遍历每个CSV文件
for file_path in csv_files:
try:
# 读取CSV文件
df = pd.read_csv(file_path)
# 提取指定列 (请替换 'column_name' 为实际列名)
extracted_column = df['column_name']
# 处理重复值 (可选，请替换 'column_to_check' 为实际列名)
# if df['column_to_check'].duplicated().any():
# extracted_column = extracted_column.drop_duplicates()
# 创建输出文件名
output_file_path = os.path.join(cwd, 'output_' + os.path.basename(file_path))
# 保存输出文件
extracted_column.to_csv(output_file_path, index=False, header=['column_name']) # 添加header
except pd.errors.EmptyDataError:
print(f"Warning: File {file_path} is empty. Skipping.")
except pd.errors.ParserError:
print(f"Warning: Error parsing file {file_path}. Skipping.")
except KeyError as e:
print(f"Error: Column '{e.args[0]}' not found in {file_path}. Skipping.")
print("批量提取完成!")
注意: 请将代码中的'column_name'替换成您需要提取的列的实际名称。 可选的重复值处理部分也需要根据实际情况修改列名。 代码增加了错误处理，可以应对空文件或解析错误的情况。 最后，header=['column_name']确保输出文件包含列名。
