计算Pandas数据框间Cohen's Kappa一致性系数教程

本教程详细介绍了如何在python中计算两个pandas数据框中列表数据的cohen's kappa一致性系数。我们将探讨多种方法，包括使用列表推导式、`itertuples()`以及`merge(how='cross')`结合`np.vectorize`，最终目标是构建一个包含所有受试者（跨数据框）的完整 pairwise kappa 矩阵，并为后续的数据分析和可视化（如热图）奠定基础。

引言：Cohen's Kappa 与一致性评估

Cohen's Kappa 系数是一种统计量，用于衡量两个评估者之间对分类数据的协议（一致性）程度，它会纠正随机偶然性造成的一致性。在数据分析中，当我们需要比较不同来源（例如两个数据框）中同类型观测值（例如列表中的分类评分）之间的一致性时，Cohen's Kappa 是一个非常有用的工具。本教程将指导您如何在Pandas数据框中，针对每个受试者列表计算与其他受试者列表的Cohen's Kappa分数，并最终将这些分数组织成一个易于分析的矩阵。

数据准备

首先，我们创建两个示例Pandas数据框，每个数据框包含受试者ID、分组信息以及一个代表分类评分的列表。

import pandas as pd
import numpy as np
from sklearn.metrics import cohen_kappa_score

# 示例数据框1
data1 = {'subject': ['A', 'B', 'C', 'D'],
         'group': ['red', 'red', 'blue', 'blue'],
         'lists': [[0, 1, 1], [0, 0, 0], [1, 1, 1], [0, 1, 0]]}
df1 = pd.DataFrame(data1)

# 示例数据框2
data2 = {'subject': ['a', 'b', 'c', 'd'],
         'group': ['red', 'red', 'blue', 'blue'],
         'lists': [[0, 1, 0], [1, 1, 0], [1, 0, 1], [1, 1, 0]]}
df2 = pd.DataFrame(data2)

print("DataFrame 1:")
print(df1)
print("\nDataFrame 2:")
print(df2)

计算数据框间的 Pairwise Kappa 分数

我们的目标是计算 df1 中每个受试者列表与 df2 中每个受试者列表之间的 Cohen's Kappa 分数。sklearn.metrics.cohen_kappa_score 函数接受两个一维数组或列表作为输入。

方法一：使用列表推导式（简洁直接）

这是最直接的方法，通过嵌套的列表推导式遍历 df1 和 df2 中的所有 lists，并计算它们之间的 Kappa 值。

# 计算 df1 中所有列表与 df2 中所有列表的 pairwise kappa
kappa_scores_flat = [cohen_kappa_score(i, j) for i in df1['lists'] for j in df2['lists']]
print("\nPairwise Kappa Scores (df1 vs df2, flat list):")
print(kappa_scores_flat)

这种方法返回一个扁平的列表，其中包含了所有组合的 Kappa 分数。虽然简单，但它没有明确的结构来指示哪个分数对应哪个受试者对。

方法二：使用 itertuples() 构建结构化 DataFrame

为了更好地组织结果，我们可以使用 itertuples() 迭代数据框的行，并直接构建一个 Pandas DataFrame，其中行索引和列名对应于受试者ID。

# 使用 itertuples() 构建 df1 (行) vs df2 (列) 的 Kappa 矩阵
kappa_matrix_df1_vs_df2 = pd.DataFrame(
    {df2_row.subject: {df1_row.subject: cohen_kappa_score(df1_row.lists, df2_row.lists)
                       for df1_row in df1.itertuples()}
     for df2_row in df2.itertuples()}
).T # 转置以使 df1 subjects 为行，df2 subjects 为列

print("\nPairwise Kappa Matrix (df1 subjects as rows, df2 subjects as columns):")
print(kappa_matrix_df1_vs_df2)

这个方法生成了一个清晰的矩阵，其中 df1 的受试者作为行索引，df2 的受试者作为列名，每个单元格都是对应的 Kappa 分数。

方法三：利用 merge(how='cross') 和 np.vectorize（高效且简洁）

对于大型数据框，merge(how='cross') 可以生成所有可能的行组合，然后结合 np.vectorize 可以高效地对这些组合应用 cohen_kappa_score 函数。

# 创建 df1 和 df2 的笛卡尔积
cross_merged_df = df1.merge(df2, how='cross', suffixes=('_df1', '_df2'))

# 提取 'lists' 列，并使用 np.vectorize 计算 kappa
# 注意：cohen_kappa_score 期望一维数组，所以需要先转换为 numpy 数组再转置
kappa_scores_vectorized = np.vectorize(cohen_kappa_score)(
    *cross_merged_df[['lists_df1', 'lists_df2']].to_numpy().T
)

# 将结果添加到交叉合并的 DataFrame 中
cross_merged_df['kappa_score'] = kappa_scores_vectorized

print("\nCross-merged DataFrame with Kappa Scores:")
print(cross_merged_df[['subject_df1', 'subject_df2', 'kappa_score']])

这种方法在生成中间的交叉合并数据框时可能会消耗较多内存，但对于计算本身来说效率较高。您可以通过进一步处理 cross_merged_df 来构建所需的矩阵。

Explainpaper

阅读学术论文的更好方法，你的学术论文阅读助手。

下载

构建完整的综合一致性矩阵

用户通常希望看到一个包含所有受试者（来自所有数据框）的单一矩阵，以便同时比较数据框内部和数据框之间的 Kappa 值。

为了实现这一点，我们可以将所有受试者及其列表合并到一个临时数据框中，然后对这个合并后的数据框进行自比较。

# 1. 合并所有受试者及其数据到一个数据框
# 添加一个 'source' 列以区分来源，如果需要的话
df_combined = pd.concat([
    df1.assign(source='df1'),
    df2.assign(source='df2')
]).reset_index(drop=True)

# 2. 构建完整的 pairwise Kappa 矩阵
# 行和列都包含 df_combined 中的所有受试者
kappa_matrix_full = pd.DataFrame(
    {row_i.subject: {row_j.subject: cohen_kappa_score(row_i.lists, row_j.lists)
                     for row_j in df_combined.itertuples()}
     for row_i in df_combined.itertuples()}
)

print("\nComprehensive Pairwise Kappa Matrix (all subjects):")
print(kappa_matrix_full)

这个 kappa_matrix_full DataFrame 的行和列都包含了来自 df1 和 df2 的所有受试者。通过观察这个矩阵，您可以清晰地看到：

• 对角线元素： 通常为1，表示受试者自身与自身的一致性。
• 左上角子矩阵： df1 内部受试者之间的一致性（例如 A vs B）。
• 右下角子矩阵： df2 内部受试者之间的一致性（例如 a vs b）。
• 右上角和左下角子矩阵： df1 受试者与 df2 受试者之间的一致性（例如 A vs a）。

Cohen's Kappa 分数解读

Cohen's Kappa 的值通常在 -1 到 1 之间：

• 1： 完美一致。
• 0： 一致性完全由偶然性造成。
• 负值： 一致性比偶然性更差（非常罕见）。

一般来说，对 Kappa 值的解释：

• 差
• 0.01 - 0.20： 略微
• 0.21 - 0.40： 一般
• 0.41 - 0.60： 中等
• 0.61 - 0.80： 良好
• 0.81 - 0.99： 极好
• 1.00： 完美

可视化：使用热图

生成的 Kappa 矩阵非常适合使用 seaborn 库进行热图可视化，以直观地展示受试者之间的一致性模式。您可以使用 group 列来组织热图，例如，先按 group 对矩阵的行和列进行排序。

import seaborn as sns
import matplotlib.pyplot as plt

# 为了更好的可视化，可以根据 'group' 列对矩阵进行排序
# 首先，创建一个包含所有subject及其group的Series
subject_groups = pd.concat([df1.set_index('subject')['group'], df2.set_index('subject')['group']])
sorted_subjects = subject_groups.sort_values().index.tolist()

# 重新排序 kappa_matrix_full
kappa_matrix_sorted = kappa_matrix_full.loc[sorted_subjects, sorted_subjects]

plt.figure(figsize=(10, 8))
sns.heatmap(kappa_matrix_sorted, annot=True, cmap='viridis', fmt=".2f", linewidths=.5)
plt.title("Pairwise Cohen's Kappa Agreement Heatmap (Sorted by Group)")
plt.xlabel("Subject 2")
plt.ylabel("Subject 1")
plt.show()

通过热图，您可以快速识别哪些受试者对之间具有高一致性（亮色），哪些具有低一致性（暗色），以及是否存在组内或组间的一致性模式。

注意事项

• 数据类型： cohen_kappa_score 函数期望输入为一维数组或列表，且元素应为类别型数据（例如整数或字符串）。
• 列表长度： 参与比较的两个列表必须具有相同的长度。
• 性能： 对于非常大的数据框，merge(how='cross') 会生成一个巨大的中间数据框，可能导致内存问题。在这种情况下，迭代方法（如 itertuples()）可能更具内存效率，但计算时间可能更长。选择最适合您数据规模和性能需求的方法。
• 解释： Cohen's Kappa 假定类别是相互排斥且穷尽的。在解释结果时，应结合领域知识。

总结

本教程详细介绍了如何在Python中计算Pandas数据框中列表数据的 pairwise Cohen's Kappa 一致性系数。我们探讨了多种实现方法，从简单的列表推导式到构建结构化数据框，并最终展示了如何生成一个全面的 Kappa 矩阵，该矩阵可以有效地用于分析和可视化不同数据源中受试者之间的一致性。掌握这些技术将有助于您在数据分析工作中更深入地评估分类数据的一致性。