在数据分析和管理中，经常需要对比两个dataframe以识别它们之间的差异。例如，在版本控制、数据同步或审计场景下，我们可能需要找出哪些数据点发生了变化，并仅关注这些变化本身。传统的合并（merge）操作虽然能识别出整行差异，但往往难以直接定位到具体的差异列，并且会保留大量未变化的列，导致结果冗余。pandas提供了dataframe.compare()方法，专门用于解决这类问题，它能够以简洁高效的方式呈现两个dataframe之间的元素级差异。
1. 问题背景与传统方法的局限性
假设我们有两个结构相同的DataFrame，其中包含一些标识列（如pet_name, exam_day）和多个数据列（如result_1, result_2）。我们的目标是：
- 识别出所有有差异的行。
- 对于这些有差异的行，仅保留导致差异的列，以及必要的标识列。
- 最终的输出应清晰地展示两个DataFrame中对应位置的差异值。
以下是两个示例DataFrame：
import pandas as pd
import numpy as np
# DataFrame 1
data1 = {
'pet_name': ['Patrick', 'Patrick', 'Patrick', 'Patrick'],
'exam_day': ['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04'],
'result_1': [1, 2, 3, 4],
'result_2': [10, 20, 30, 40],
'pre_result_1': [123, 123, 123, 123]
}
df1 = pd.DataFrame(data1)
# DataFrame 2 (与df1有差异)
data2 = {
'pet_name': ['Patrick', 'Patrick', 'Patrick', 'Patrick'],
'exam_day': ['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04'],
'result_1': [1, 99, 3, 4], # 差异: df1[1, 'result_1'] = 2, df2[1, 'result_1'] = 99
'result_2': [10, 20, 30, 100], # 差异: df1[3, 'result_2'] = 40, df2[3, 'result_2'] = 100
'pre_result_1': [123, 123, 123, 123]
}
df2 = pd.DataFrame(data2)
print("df1:")
print(df1)
print("\ndf2:")
print(df2)df1:
pet_name exam_day result_1 result_2 pre_result_1 0 Patrick 2023-01-01 1 10 123 1 Patrick 2023-01-02 2 20 123 2 Patrick 2023-01-03 3 30 123 3 Patrick 2023-01-04 4 40 123
df2:
pet_name exam_day result_1 result_2 pre_result_1 0 Patrick 2023-01-01 1 10 123 1 Patrick 2023-01-02 99 20 123 2 Patrick 2023-01-03 3 30 123 3 Patrick 2023-01-04 4 100 123
如果使用merge配合indicator=True，虽然可以找出有差异的行，但会保留所有列，并且差异值会出现在不同的行中，不便于直接对比。例如：
pets_diff_merge = df1.merge(df2, on=list(df1.columns), how="outer", indicator=True)
pets_diff_merge = pets_diff_merge[pets_diff_merge["_merge"] != "both"]
print("\n使用merge的差异结果:")
print(pets_diff_merge)使用merge的差异结果:
pet_name exam_day result_1 result_2 pre_result_1 _merge 1 Patrick 2023-01-02 2 20 123 left_only 5 Patrick 2023-01-02 99 20 123 right_only 3 Patrick 2023-01-04 4 40 123 left_only 7 Patrick 2023-01-04 4 100 123 right_only
可以看到，merge方法虽然识别了差异行，但保留了所有列，并且对于同一差异点，df1和df2的值分别位于两行，不符合我们仅保留差异列并在一行或相邻行展示差异值的需求。
2. 使用 DataFrame.compare() 提取差异数据
DataFrame.compare()方法是专门为这种场景设计的。它能够逐元素地对比两个DataFrame，并返回一个仅包含差异值的新DataFrame。
2.1 核心步骤
- 设置索引: 将用于标识唯一行的列（即“维度”列）设置为DataFrame的索引。这确保了compare方法能够正确地对齐要比较的行。
-
调用 compare() 方法: 使用df1.compare(df2, align_axis=0)进行比较。
- align_axis=0 是关键，它指示compare方法将self (df1) 和 other (df2) 的差异值堆叠在一起，而不是并排显示为多级列。这样，对于每个有差异的行，df1和df2的值会出现在连续的两行中，便于查看。
- 后处理: compare方法的输出会有一个多级列索引，其中包含self和other标签。我们需要清理这些索引，并把之前设置为索引的标识列重新变回普通列。
2.2 示例代码
# 1. 设置索引
df1_indexed = df1.set_index(['pet_name', 'exam_day'])
df2_indexed = df2.set_index(['pet_name', 'exam_day'])
# 2. 调用 compare() 方法
# align_axis=0 将 df1 和 df2 的差异值堆叠在一起
diff_raw = df1_indexed.compare(df2_indexed, align_axis=0)
print("\ncompare() 原始输出 (带多级索引):")
print(diff_raw)
# 3. 后处理：清理索引并重置
# droplevel(-1) 移除最内层（即 'self'/'other'）的列索引
# reset_index() 将之前设置的索引（pet_name, exam_day）变回普通列
final_diff_df = diff_raw.droplevel(-1, axis=1).reset_index()
print("\n最终差异结果:")
print(final_diff_df)compare() 原始输出 (带多级索引):
result_1 result_2 pre_result_1
pet_name exam_day
Patrick 2023-01-02 self 2.0 NaN NaN
other 99.0 NaN NaN
2023-01-04 self NaN 40.0 NaN
other NaN 100.0 NaN最终差异结果:
pet_name exam_day result_1 result_2 pre_result_1 0 Patrick 2023-01-02 2.0 NaN NaN 1 Patrick 2023-01-02 99.0 NaN NaN 2 Patrick 2023-01-04 NaN 40.0 NaN 3 Patrick 2023-01-04 NaN 100.0 NaN
2.3 结果解读
最终的final_diff_dfDataFrame清晰地展示了差异。
- 行: 每一对相邻的行（例如索引0和1，2和3）代表一个差异点。第一行显示df1在该位置的值，第二行显示df2在该位置的值。
- 列: 仅保留了存在差异的列（如result_1, result_2）以及作为标识符的索引列（pet_name, exam_day）。
- NaN值: 对于在某个差异行中但本身没有发生变化的列，其值会显示为NaN。例如，在第一对差异行中，result_1发生了变化，而result_2和pre_result_1没有变化，所以它们显示为NaN。这正是我们想要的效果：只关注差异点。
3. 进一步优化与注意事项
尽管上述方法已经非常有效，但在实际应用中，我们可能希望进一步优化结果或注意一些细节。
3.1 移除全为 NaN 的列
在某些情况下，如果所有差异都集中在少数几列，compare()的输出可能会包含一些全为NaN的列（如果keep_equal=False且这些列在所有差异行中都未改变）。虽然本例中droplevel(-1, axis=1)已经去除了多级列，但如果需要，可以通过以下方式删除那些除了标识列外，数据列全为NaN的列：
# 假设我们只关心实际有差异的数值列
# 筛选出非标识列中至少有一个非NaN值的列
value_cols = [col for col in final_diff_df.columns if col not in ['pet_name', 'exam_day']]
cleaned_diff_df = final_diff_df.dropna(axis=1, how='all', subset=value_cols)
print("\n移除全NaN列后的差异结果:")
print(cleaned_diff_df)移除全NaN列后的差异结果:
pet_name exam_day result_1 result_2 0 Patrick 2023-01-02 2.0 NaN 1 Patrick 2023-01-02 99.0 NaN 2 Patrick 2023-01-04 NaN 40.0 3 Patrick 2023-01-04 NaN 100.0
这会移除pre_result_1列，因为它在所有差异行中都是NaN。
3.2 compare() 方法的其他参数
- keep_equal: 默认为False。如果设置为True，即使元素值相同，也会在输出中显示它们，这通常不符合我们仅关注差异的需求。
- keep_shape: 默认为False。如果设置为True，输出DataFrame的形状将与原始DataFrame相同，差异处显示差异值，相同处显示NaN。这会保留所有行和列，通常不如align_axis=0结合droplevel的结果简洁。
- result_names: 可以自定义多级列索引中的self和other标签，例如result_names=('df1_val', 'df2_val')。
3.3 性能考量
对于非常大的DataFrame，compare()方法可能会消耗较多内存和计算时间，因为它需要逐元素比较。如果DataFrame非常庞大，可以考虑分块处理或使用其他专门针对大数据差异比较的工具。然而，对于大多数中等规模的数据集，compare()的性能是完全可以接受的。
4. 总结
pandas.DataFrame.compare()方法提供了一种强大且直观的方式来识别和提取两个DataFrame之间的元素级差异。通过结合set_index()进行行对齐，align_axis=0进行差异堆叠，以及后续的droplevel()和reset_index()进行结果清理，我们可以高效地生成一个仅包含差异数据及其关键标识符的DataFrame。这种方法极大地简化了数据变更追踪和审计工作，是Pandas数据处理工具箱中一个非常有用的功能。掌握这一技巧，将有助于更高效地进行数据分析和质量控制。
