
在数据分析和处理中,我们经常需要将连续的数值数据离散化,即将其划分到不同的区间(或称“分箱”)。例如,将销售额数据按金额大小划分为“低”、“中”、“高”等档次。虽然可以通过编写复杂的条件判断逻辑来实现,但这往往会导致代码冗长、难以维护,并且在面对空区间等特殊情况时容易出错。pandas库提供了pd.cut函数,为这类需求提供了优雅且健壮的解决方案。
理解数值列分箱的需求与挑战
假设我们有一个包含数值变量的DataFrame,需要根据特定规则将其划分为多个区间。例如,将一个名为NUMERICAL_VARIABLE的列按照以下规则分箱:
- x
- x >= 15000 and x
- x >= 30000 and x
- x >= 45000 (或其他更高区间)
手动实现时,我们可能会尝试:
- 首先使用pd.cut进行初步等宽分箱,获取每个区间的最大/最小值。
- 基于这些统计值,构建自定义的区间边界。
- 遍历数据,通过一系列if/elif条件判断将每个值分配到对应的区间。
这种方法存在明显弊端:
- 复杂性高: 需要多步操作,且逻辑嵌套,可读性差。
- 健壮性差: 如果某个初步分箱的区间为空(例如,某个区间中没有数据),会导致后续尝试获取其max()或min()时出错,使整个流程中断。
- 效率低下: 循环遍历DataFrame在处理大数据时效率较低。
幸运的是,pd.cut函数本身就设计用于解决这类问题,并能直接指定精确的区间边界和自定义标签,从而避免上述所有问题。
使用 pd.cut 进行数值列分箱
pd.cut函数是Pandas中用于将数值数据离散化的核心工具。它能够根据指定的箱边(bins)将数据划分为不同的区间,并为每个区间分配标签。
核心参数解析
- series: 必需参数,要进行分箱的Pandas Series或一维数组。
- bins: 定义分箱边界。可以是一个整数(表示等宽分箱的数量),也可以是一个序列(如列表或数组),其中包含明确的边界值。例如,[0, 15000, 30000, 45000]定义了三个区间。
-
right: 布尔值,默认为True。决定区间是左开右闭((a, b])还是左闭右开([a, b))。
- right=True: 区间形式为 (bin_left, bin_right]。例如,bins=[0, 10, 20],则区间为 (0, 10] 和 (10, 20]。
- right=False: 区间形式为 [bin_left, bin_right)。例如,bins=[0, 10, 20],则区间为 [0, 10) 和 [10, 20)。 这对于实现“x = 15000”这类需求至关重要。
- labels: 可选参数。用于为每个分箱区间指定自定义标签。如果设置为False,则返回IntervalIndex对象。如果提供列表,其长度必须比bins的长度少1。
- include_lowest: 布尔值,默认为False。如果为True,则第一个区间的左边界(即bins中的最小值)也会被包含在内。这在使用right=False时尤其重要,以确保最小数据点被正确归类。
示例:实现自定义区间分箱
假设我们有一个DataFrame df,其中包含一个名为 some_value 的数值列,我们希望将其按以下方式分箱:
- x
- x >= 15000 and x
- x >= 30000 and x
import pandas as pd
import numpy as np
# 示例数据,包含可能超出预设最大边界的值
data = [1, 44746, 27637, 18236, 1000, 15000, 34000, 50000, 500]
df = pd.DataFrame({"some_value": data})
# 定义分箱边界和标签
# 注意:bins的起始值应小于或等于数据的最小值,结束值应大于或等于数据的最大值。
# 如果数据可能超出最大边界,且希望将超出部分归为一类,需要相应调整bins。
# 对于本例中明确的 '<45000' 需求,我们设置到45000。
# 如果有值大于45000,且未指定更大的bin,它们将默认为NaN。
bins = [0, 15000, 30000, 45000] # 定义精确的边界
labels = ["x < 15000", "x >= 15000 and x < 30000", "x >= 30000 and x < 45000"]
# 使用 pd.cut 进行分箱
# right=False 表示区间为 [min, max),即包含左边界,不包含右边界
# include_lowest=True 确保最小值为0的区间能够包含0
df['cutoffs'] = pd.cut(
df['some_value'],
bins=bins,
right=False,
labels=labels,
include_lowest=True # 确保像1这样的值能被包含在第一个区间 [0, 15000) 中
)
print("--- 原始分箱结果 (超出范围值为NaN) ---")
print(df)
#










