1. 引言与问题背景
在数据分析和数据质量管理中，经常需要比较两个结构相似的DataFrame，以找出它们之间的具体差异。例如，比较同一数据集在不同时间点的快照，或者比较不同数据源中相同实体的信息。常见的需求是不仅要识别出有差异的行，还要进一步识别出这些行中具体是哪些列的值发生了变化，并最终只保留这些差异信息以及作为标识的维度列。
考虑以下两个DataFrame df1 和 df2：
import pandas as pd
data1 = {
'pet_name': ['Patrick', 'Patrick', 'Patrick', 'Patrick'],
'exam_day': ['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04'],
'result_1': [1, 2, 3, 4],
'result_2': [10, 20, 30, 40],
'pre_result_1': [123, 123, 123, 123]
}
df1 = pd.DataFrame(data1)
data2 = {
'pet_name': ['Patrick', 'Patrick', 'Patrick', 'Patrick'],
'exam_day': ['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04'],
'result_1': [1, 99, 3, 4], # Difference here (2 vs 99)
'result_2': [10, 20, 30, 100], # Difference here (40 vs 100)
'pre_result_1': [123, 123, 123, 123]
}
df2 = pd.DataFrame(data2)
print("df1:")
print(df1)
print("\ndf2:")
print(df2)输出：
df1: pet_name exam_day result_1 result_2 pre_result_1 0 Patrick 2023-01-01 1 10 123 1 Patrick 2023-01-02 2 20 123 2 Patrick 2023-01-03 3 30 123 3 Patrick 2023-01-04 4 40 123 df2: pet_name exam_day result_1 result_2 pre_result_1 0 Patrick 2023-01-01 1 10 123 1 Patrick 2023-01-02 99 20 123 2 Patrick 2023-01-03 3 30 123 3 Patrick 2023-01-04 4 100 123
我们的目标是得到一个DataFrame，其中只包含 pet_name 和 exam_day 作为标识列，以及所有值存在差异的列。例如，对于上述数据，期望的输出应类似：
pet_name exam_day result_1 result_2 0 Patrick 2023-01-02 2.0 NaN 1 Patrick 2023-01-02 99.0 NaN 2 Patrick 2023-01-04 NaN 40.0 3 Patrick 2023-01-04 NaN 100.0
可以看到，pre_result_1 列因其值在两个DataFrame中完全相同而被移除。
2. 使用 DataFrame.compare 方法
Pandas 提供了 DataFrame.compare 方法，专门用于执行元素级别的比较，并返回一个突出显示差异的DataFrame。这是实现我们目标的最有效工具。
2.1 DataFrame.compare 简介
DataFrame.compare(other, align_axis=1, keep_equal=False, keep_shape=False)
- other: 另一个要比较的DataFrame。
- align_axis: 指定如何对齐差异。
- 0 或 'index': 按行对齐，返回的DataFrame将具有一个MultiIndex行，其中包含原始索引和指示是来自self还是other的级别。
- 1 或 'columns': 按列对齐，返回的DataFrame将具有一个MultiIndex列，其中包含原始列名和指示是来自self还是other的级别。 通常，为了识别行级差异，我们使用 align_axis=0。
- keep_equal: 布尔值，默认为 False。如果为 True，则即使列中的所有值都相同，也会保留该列。我们希望只保留差异列，因此保持默认 False。
- keep_shape: 布尔值，默认为 False。如果为 True，则返回的DataFrame将保留原始形状，并在没有差异的位置填充 NaN。我们希望只看到差异，因此保持默认 False。
compare 方法的强大之处在于它会自动识别并只返回那些值存在差异的列。
2.2 实现步骤
为了达到期望的输出，我们需要执行以下步骤：
- 设置索引: 将 pet_name 和 exam_day 这两个维度列设置为DataFrame的索引。这样做是为了确保 compare 方法能够正确地基于这些维度对齐和识别行。
- 执行比较: 调用 compare 方法，将 df2 作为 other 参数，并设置 align_axis=0。
- 后处理索引: compare 方法在 align_axis=0 模式下，如果原始索引不是唯一的，或者当我们将维度列设置为索引后，它会为结果DataFrame的行生成一个MultiIndex，其中包含一个额外的级别（'self' 或 'other'）来区分来自哪个DataFrame的数据。我们需要删除这个额外的级别。
- 重置索引: 将之前设置为索引的维度列（pet_name 和 exam_day）重新变回普通列。
下面是具体的实现代码：
# 1. 设置索引
df1_indexed = df1.set_index(['pet_name', 'exam_day'])
df2_indexed = df2.set_index(['pet_name', 'exam_day'])
# 2. 执行比较
# compare方法默认keep_equal=False，因此会自动移除完全相同的列
diff_df_raw = df1_indexed.compare(df2_indexed, align_axis=0)
print("--- 原始 compare 输出 ---")
print(diff_df_raw)
# 3. 后处理索引：删除由 compare 产生的 'self'/'other' 级别
# 这个级别是行MultiIndex的最后一个级别
diff_df_processed = diff_df_raw.droplevel(-1)
# 4. 重置索引，将维度列变回普通列
final_diff_df = diff_df_processed.reset_index()
print("\n--- 最终差异 DataFrame ---")
print(final_diff_df)代码解析与输出：
首先，df1_indexed.compare(df2_indexed, align_axis=0) 的输出 diff_df_raw 如下：
--- 原始 compare 输出 ---
result_1 result_2
pet_name exam_day
Patrick 2023-01-02 self 2.0 NaN
other 99.0 NaN
2023-01-04 self NaN 40.0
other NaN 100.0可以看到，compare 方法成功地识别了 result_1 和 result_2 列中的差异。它创建了一个MultiIndex行，其中包含 pet_name、exam_day 以及一个指示数据来源（self 或 other）的级别。同时，result_1 和 result_2 列本身也带有MultiIndex（('result_1', 'self'), ('result_1', 'other') 等）。这里由于 keep_equal=False，pre_result_1 列被自动移除了。
然后，droplevel(-1) 操作移除了行MultiIndex中的最后一个级别（'self' 或 'other'），使得行索引只剩下 ('pet_name', 'exam_day')。
最后，reset_index() 将 pet_name 和 exam_day 从索引变回普通列，得到我们期望的最终结果：
--- 最终差异 DataFrame --- pet_name exam_day result_1 result_2 0 Patrick 2023-01-02 2.0 NaN 1 Patrick 2023-01-02 99.0 NaN 2 Patrick 2023-01-04 NaN 40.0 3 Patrick 2023-01-04 NaN 100.0
这个结果清晰地展示了两个DataFrame之间的所有差异，并且只保留了发生变化的列以及作为行标识的维度列。
3. 注意事项与最佳实践
- 索引的重要性: 在使用 compare 方法时，正确设置索引是至关重要的。如果你的DataFrame没有明确的唯一标识列，或者标识列并非唯一，compare 的行为可能会变得复杂。确保用于 set_index 的列组合能够唯一标识每一行。
- 列的MultiIndex: DataFrame.compare 的默认输出在列上会创建一个MultiIndex，例如 ('result_1', 'self') 和 ('result_1', 'other')。在上述解决方案中，我们通过 droplevel 和 reset_index 处理了行索引。如果需要进一步处理列MultiIndex（例如，将它们展平或重命名），可能需要额外的步骤，例如使用 df.columns = df.columns.map('_'.join) 或 pd.MultiIndex.from_tuples。然而，对于本教程的目标，即只保留差异列，compare 的默认行为已经足够。
- 数据类型: compare 方法对数据类型敏感。如果两个DataFrame中同一列的数据类型不同，即使值看起来相同，也可能被视为差异。确保比较前数据类型的一致性。
- 缺失值 (NaN): compare 默认会将 NaN 与非 NaN 值视为不同。如果 NaN 与 NaN 之间应视为相同，则可能需要预处理，例如使用 fillna()。
- 性能: 对于非常大的DataFrame，compare 方法的性能通常是高效的，因为它是在C语言层面实现的。然而，如果数据量极其庞大，仍需注意内存消耗。
- 多列差异: 即使有300+列，compare 方法也能自动处理，它只会保留那些存在差异的列，极大地简化了差异分析工作。
4. 总结
通过 DataFrame.compare 方法，结合适当的索引设置和后处理，我们可以高效且准确地从两个Pandas DataFrame中提取出所有值存在差异的行和列。这种方法不仅简化了差异识别过程，而且提供了清晰、易于理解的差异报告，对于数据验证、版本控制和数据质量监控等场景都非常有用。掌握此技巧，将大大提升您在Pandas中处理数据差异的能力。
