在数据分析工作中，从 csv 文件导入数据是常见操作，但日期和时间列的解析往往会遇到挑战。pandas 的 read_csv 函数提供了强大的 parse_dates 参数，能够将字符串形式的日期时间数据正确转换为 datetime64[ns] 类型，从而方便后续的时间序列分析。
parse_dates 参数的基本用法
当 CSV 文件中包含日期或时间列时，如果不指定 parse_dates，这些列通常会被识别为 object（字符串）类型。为了将其转换为 Pandas 的日期时间类型，我们需要明确告知 read_csv 哪些列需要解析。
考虑以下 CSV 数据示例：
Study ID,CG_Arrival_Date/Time,Arrival_Date,Arrival_Time 2,1/1/2011 0:03,1/1/2011,0:03:00 3,1/1/2011 0:53,1/1/2011,0:53:00
假设我们希望将 CG_Arrival_Date/Time 和 Arrival_Date 这两列解析为日期时间类型。我们可以通过列名或列索引来指定。
使用列索引解析单个日期时间列：
import pandas as pd
from io import StringIO
csv_text = """
Study ID,CG_Arrival_Date/Time,Arrival_Date,Arrival_Time
2,1/1/2011 0:03,1/1/2011,0:03:00
3,1/1/2011 0:53,1/1/2011,0:53:00"""
df = pd.read_csv(StringIO(csv_text), index_col='Study ID', parse_dates=[1, 2])
print("数据类型：")
print(df.dtypes)
print("\n数据内容：")
print(df.head())运行上述代码，输出结果将显示 CG_Arrival_Date/Time 和 Arrival_Date 列已成功转换为 datetime64[ns] 类型：
数据类型：
CG_Arrival_Date/Time datetime64[ns]
Arrival_Date datetime64[ns]
Arrival_Time object
dtype: object
数据内容：
CG_Arrival_Date/Time Arrival_Date Arrival_Time
Study ID
2 2011-01-01 00:03:00 2011-01-01 0:03:00
3 2011-01-01 00:53:00 2011-01-01 0:53:00这里，parse_dates=[1, 2] 表示解析索引为 1 (即 CG_Arrival_Date/Time) 和索引为 2 (即 Arrival_Date) 的列。
合并多个列为单个日期时间列
parse_dates 参数不仅能解析单个列，还能将多个独立的日期和时间列合并成一个完整的 datetime64[ns] 列。这在日期和时间信息分散在不同列时非常有用。
例如，如果 CSV 文件中有 Arrival_Date 和 Arrival_Time 两列，我们希望将它们合并为一个 Arrival_Datetime 列。
使用列索引合并日期和时间列：
import pandas as pd
from io import StringIO
csv_text = """
Study ID,CG_Arrival_Date/Time,Arrival_Date,Arrival_Time
2,1/1/2011 0:03,1/1/2011,0:03:00
3,1/1/2011 0:53,1/1/2011,0:53:00"""
# parse_dates=[[2,3],1] 表示：
# 1. 将索引为 2 (Arrival_Date) 和 3 (Arrival_Time) 的列合并并解析
# 2. 同时解析索引为 1 (CG_Arrival_Date/Time) 的列
df = pd.read_csv(StringIO(csv_text), index_col='Study ID', parse_dates=[[2,3],1])
print("数据类型：")
print(df.dtypes)
print("\n数据内容：")
print(df.head())执行上述代码后，输出将显示一个名为 Arrival_Date_Arrival_Time 的新列，它由原始的 Arrival_Date 和 Arrival_Time 合并而来，并且类型为 datetime64[ns]。原始的 Arrival_Date 和 Arrival_Time 列在合并后将不再存在于 DataFrame 中。
数据类型：
Arrival_Date_Arrival_Time datetime64[ns]
CG_Arrival_Date/Time datetime64[ns]
dtype: object
数据内容：
Arrival_Date_Arrival_Time CG_Arrival_Date/Time
Study ID
2 2011-01-01 00:03:00 2011-01-01 00:03:00
3 2011-01-01 00:53:00 2011-01-01 00:53:00注意事项：
- 当 parse_dates 参数接收一个列表的列表时（例如 [[2,3]]），内部的列表表示需要合并的列。这些列的原始数据将被移除，并替换为合并后的新列，新列的名称通常是原始列名用下划线连接。
- 如果使用列名而不是索引，语法类似：parse_dates=[['Arrival_Date', 'Arrival_Time'], 'CG_Arrival_Date/Time']。
处理日期格式歧义：dayfirst 参数
在某些情况下，日期格式可能存在歧义，例如 1/1/2011。这可能是 月/日/年 (MM/DD/YYYY) 格式，也可能是 日/月/年 (DD/MM/YYYY) 格式。如果 Pandas 无法自动推断正确的格式，或者默认推断与实际不符，可以使用 dayfirst 参数进行明确指定。
- dayfirst=True: 告诉 Pandas 日期中的第一个数字代表日 (DD/MM/YYYY)。
- dayfirst=False: 告诉 Pandas 日期中的第一个数字代表月 (MM/DD/YYYY)。这是默认值。
# 示例：假设日期是 DD/MM/YYYY 格式
df_dayfirst = pd.read_csv(StringIO(csv_text), index_col='Study ID',
parse_dates=[1, 2], dayfirst=True)
print("\n使用 dayfirst=True 解析后的数据：")
print(df_dayfirst.head())在我们的示例数据 1/1/2011 中，dayfirst 的影响不明显，因为日月都是 1。但在 1/10/2011 这样的日期中，如果 dayfirst=True，会被解析为 2011年10月1日；如果 dayfirst=False，则会被解析为 2011年1月10日。正确设置 dayfirst 对于确保日期解析的准确性至关重要。
总结
pandas.read_csv 函数通过 parse_dates 和 dayfirst 等参数，提供了灵活且强大的日期时间解析能力。
- 使用 parse_dates 可以将单个或多个列转换为 datetime64[ns] 类型。
- 通过传递列名列表的列表，可以实现日期和时间列的合并。
- dayfirst 参数用于解决日期格式的歧义，确保数据被正确解析。
掌握这些技巧，将有助于更高效、准确地处理 CSV 文件中的时间序列数据，为后续的数据分析和建模奠定坚实基础。
