本文旨在帮助读者掌握如何使用 Pandas 库对 DataFrame 中多个列的组合进行分组，并计算每个组合的统计数据，包括中位数、平均值、计数、90% 分位数和 10% 分位数。通过 groupby() 和 agg() 函数的灵活运用，以及 MultiIndex 的构建，可以高效地完成数据分析任务，并将结果以清晰的方式呈现。
DataFrame 分组与统计聚合
在数据分析中，经常需要对数据进行分组，然后针对每个组计算统计指标。Pandas 提供了强大的 groupby() 方法来实现这一功能。结合 agg() 方法，可以轻松地计算各种统计量，例如均值、中位数、计数和分位数。
假设我们有以下 DataFrame：
import pandas as pd
import numpy as np
data = {'Var1': [True, False, True, False, True, False, True, False, True],
'Var2': [1, 2, 3, 1, 2, 3, 1, 2, 3],
'Var3': ['A', 'B', 'C', 'A', 'B', 'C', 'A', 'B', 'C'],
'Value': [12, 93, 28, 23, 94, 12, 85, 23, 2]}
df = pd.DataFrame(data)
print(df)输出：
Var1 Var2 Var3 Value 0 True 1 A 12 1 False 2 B 93 2 True 3 C 28 3 False 1 A 23 4 True 2 B 94 5 False 3 C 12 6 True 1 A 85 7 False 2 B 23 8 True 3 C 2
我们的目标是根据 Var1、Var2 和 Var3 的组合对数据进行分组，并计算每个组的 Value 列的中位数、平均值、计数、90% 分位数和 10% 分位数。
实现步骤
-
分组与聚合
使用 groupby() 方法对 DataFrame 进行分组，并使用 agg() 方法计算统计量。
df = df.groupby(["Var1", "Var2", "Var3"]).agg( Med=("Value", "median"), Mean=("Value", "mean"), Count=("Value", "count"), q90=("Value", lambda x: x.quantile(q=0.9)), q10=("Value", lambda x: x.quantile(q=0.1)), )这里，agg() 方法接受一个字典，字典的键是新列的名称，值是一个元组，元组的第一个元素是要进行统计的列名，第二个元素是统计函数。 对于分位数，我们使用 lambda 函数来调用 quantile() 方法。
云点滴客户关系管理CRM OA系统下载云点滴客户解决方案是针对中小企业量身制定的具有简单易用、功能强大、永久免费使用、终身升级维护的智能化客户解决方案。依托功能强大、安全稳定的阿里云平 台，性价比高、扩展性好、安全性高、稳定性好。高内聚低耦合的模块化设计，使得每个模块最大限度的满足需求，相关模块的组合能满足用户的一系列要求。简单 易用的云备份使得用户随时随地简单、安全、可靠的备份客户信息。功能强大的报表统计使得用户大数据分析变的简单，
-
重建索引 (Reindexing)
为了确保所有可能的组合都存在于结果中，即使某些组合在原始数据中没有出现，我们需要重建索引。
df = df.reindex( pd.MultiIndex.from_product( [[True, False], [1, 2, 3], ["A", "B", "C"]], names=["Var1", "Var2", "Var3"] ) )pd.MultiIndex.from_product() 创建一个包含所有可能组合的多重索引。reindex() 方法使用这个多重索引来重新索引 DataFrame。 如果某个组合在原始数据中不存在，则其对应的统计量将为 NaN。
-
分组打印结果
最后，我们可以遍历分组后的 DataFrame，并打印每个组的结果。
for _, g in df.groupby(level=[0, 1, 2]): print(g) print("-" * 80)groupby(level=[0, 1, 2]) 按照多重索引的级别进行分组。
完整代码示例
import pandas as pd
import numpy as np
data = {'Var1': [True, False, True, False, True, False, True, False, True],
'Var2': [1, 2, 3, 1, 2, 3, 1, 2, 3],
'Var3': ['A', 'B', 'C', 'A', 'B', 'C', 'A', 'B', 'C'],
'Value': [12, 93, 28, 23, 94, 12, 85, 23, 2]}
df = pd.DataFrame(data)
df = df.groupby(["Var1", "Var2", "Var3"]).agg(
Med=("Value", "median"),
Mean=("Value", "mean"),
Count=("Value", "count"),
q90=("Value", lambda x: x.quantile(q=0.9)),
q10=("Value", lambda x: x.quantile(q=0.1)),
)
df = df.reindex(
pd.MultiIndex.from_product(
[[True, False], [1, 2, 3], ["A", "B", "C"]], names=["Var1", "Var2", "Var3"]
)
)
for _, g in df.groupby(level=[0, 1, 2]):
print(g)
print("-" * 80)注意事项
- 确保在计算分位数时，数据类型是数值型。如果数据类型是字符串，需要先转换为数值型。
- 如果某些组的数据量很小，计算出的分位数可能没有意义。
- reindex() 方法可以确保所有可能的组合都存在于结果中，但如果组合的数量非常大，可能会导致内存占用过高。
总结
本文介绍了如何使用 Pandas 库对 DataFrame 中多个列的组合进行分组，并计算每个组合的统计数据。通过 groupby() 和 agg() 函数的灵活运用，以及 MultiIndex 的构建，可以高效地完成数据分析任务。这种方法在处理需要对数据进行多维度分析的场景中非常有用。
