本教程旨在解决如何在pandas dataframe中为每笔交易查找并记录同一客户之前一笔不同类型交易的金额。文章将详细介绍一种优化的迭代分组方法，避免了传统`apply`函数带来的性能瓶颈，并提供了清晰的python代码示例，帮助读者高效处理此类复杂的时序数据分析任务，确保结果的准确性和代码的健壮性。
引言：问题描述与挑战
在处理客户交易数据时，我们经常需要分析客户行为序列。一个常见的需求是，对于每一笔交易，我们希望知道该客户之前最近一次不同类型的交易金额是多少。例如，如果客户购买了“工具”类商品，我们可能想知道他之前最近一次购买“电机”类商品的金额。
假设我们有一个名为df的Pandas DataFrame，包含以下列：
- KEY_ID: 客户ID。
- TYPE: 交易类型（例如，'Motor' 或 'Tool'）。
- DATE: 交易日期。
- AMOUNT: 交易金额。
我们的目标是添加一个新列PREV_AMOUNT，其中包含每个交易对应客户的上一笔不同类型交易的金额。如果不存在这样的交易，则应为NaN。
直接使用DataFrame的apply方法结合自定义函数来查找历史记录，在数据量较大时会面临严重的性能问题，甚至可能导致内核崩溃，因为它涉及到对DataFrame的重复子集查询。而简单的shift()操作只能获取同一分组内的上一条记录，无法满足“不同类型”的条件。因此，我们需要一种更高效、更具扩展性的解决方案。
解决方案：基于分组的迭代处理
为了高效地解决这个问题，我们将采用一种结合了Pandas分组操作和Python迭代逻辑的方法。核心思想是：
- 预排序数据：确保数据按客户ID和交易日期升序排列，这是进行时序分析的基础。
- 按客户分组：对DataFrame按KEY_ID进行分组，这样我们可以在每个客户的交易序列中独立操作。
- 组内迭代与状态维护：在每个客户组内部，我们迭代其交易记录。在迭代过程中，维护两个变量，分别记录最近一次“Motor”类型交易的金额和最近一次“Tool”类型交易的金额。
- 条件赋值：对于当前交易，根据其TYPE，我们将PREV_AMOUNT设置为不同类型的最近交易金额，然后更新当前类型交易的最近金额。
示例数据
为了更好地说明，我们使用以下示例数据：
| KEY_ID | TYPE | AMOUNT | DATE |
|---|---|---|---|
| 1 | Motor | 5000 | 2020-01-01 |
| 1 | Tool | 3000 | 2020-02-01 |
| 1 | Tool | 7000 | 2020-03-01 |
| 2 | Tool | 2000 | 2020-01-15 |
| 2 | Motor | 6000 | 2020-02-15 |
| 2 | Tool | 4000 | 2020-03-15 |
实现步骤与代码
首先，确保导入必要的库并准备数据。
import pandas as pd
import numpy as np
# 示例数据
data = {
'KEY_ID': [1, 1, 1, 2, 2, 2],
'TYPE': ['Motor', 'Tool', 'Tool', 'Tool', 'Motor', 'Tool'],
'AMOUNT': [5000, 3000, 7000, 2000, 6000, 4000],
'DATE': pd.to_datetime(['2020-01-01', '2020-02-01', '2020-03-01', '2020-01-15', '2020-02-15', '2020-03-15'])
}
df = pd.DataFrame(data)
# 步骤1: 预排序DataFrame
# 这一步至关重要，确保在处理每个客户的交易时，是按时间顺序进行的。
df = df.sort_values(by=['KEY_ID', 'DATE']).reset_index(drop=True)
# 初始化PREV_AMOUNT列
df['PREV_AMOUNT'] = np.nan接下来，实现分组迭代逻辑：
# 步骤2 & 3 & 4: 按客户分组并迭代处理
grouped = df.groupby(['KEY_ID'])
for key_id, group in grouped:
last_motor_amount = np.nan # 记录该客户最近一次Motor交易金额
last_tool_amount = np.nan # 记录该客户最近一次Tool交易金额
# 在每个客户组内，再次按日期排序（虽然整体已排序，但确保分组迭代的顺序）
# 使用iterrows()迭代，同时获取索引和行数据
for ind, row in group.iterrows():
current_type = row['TYPE']
current_amount = row['AMOUNT']
if current_type == 'Motor':
# 如果当前交易是Motor类型，则查找之前最近的Tool交易金额
df.loc[ind, 'PREV_AMOUNT'] = last_tool_amount
# 更新最近一次Motor交易金额
last_motor_amount = current_amount
elif current_type == 'Tool':
# 如果当前交易是Tool类型，则查找之前最近的Motor交易金额
df.loc[ind, 'PREV_AMOUNT'] = last_motor_amount
# 更新最近一次Tool交易金额
last_tool_amount = current_amount
# 如果有其他交易类型，可以扩展此处的elif分支
print(df)代码解释
- import pandas as pd 和 import numpy as np: 导入Pandas库用于数据操作，以及NumPy库用于处理NaN值。
- 数据准备: 创建示例DataFrame，并使用pd.to_datetime将日期字符串转换为日期时间对象，以便正确排序。
-
df = df.sort_values(by=['KEY_ID', 'DATE']).reset_index(drop=True):
- 首先，按KEY_ID和DATE对整个DataFrame进行排序。这是确保我们能正确追踪“之前”交易的关键步骤。
- reset_index(drop=True)是为了在排序后重置索引，避免后续使用loc进行赋值时出现索引错位问题。
- df['PREV_AMOUNT'] = np.nan: 初始化PREV_AMOUNT列，所有值默认为NaN。这样，对于没有前序不同类型交易的记录，其值将保持为NaN。
- grouped = df.groupby(['KEY_ID']): 根据客户ID对DataFrame进行分组。这将使我们能够独立处理每个客户的交易历史。
- for key_id, group in grouped:: 遍历每个客户组。key_id是客户ID，group是该客户对应的子DataFrame。
- last_motor_amount = np.nan 和 last_tool_amount = np.nan: 在处理每个新客户之前，将记录上一笔不同类型交易金额的变量重置为NaN。这是因为不同客户的交易历史是独立的。
- for ind, row in group.iterrows():: 遍历当前客户组内的每一行交易记录。ind是原始DataFrame的索引，row是当前行的Series数据。
-
条件逻辑 (if current_type == 'Motor' / elif current_type == 'Tool'):
- 如果当前交易是Motor类型，那么我们想要查找的是之前最近的Tool类型交易金额。因此，df.loc[ind, 'PREV_AMOUNT'] = last_tool_amount 将last_tool_amount赋给当前行的PREV_AMOUNT。
- 然后，last_motor_amount = current_amount 更新last_motor_amount为当前Motor交易的金额，以便后续的Tool交易可以使用它。
- 对于Tool类型交易，逻辑类似，但角色互换。
- df.loc[ind, 'PREV_AMOUNT'] = ...: 使用loc通过索引ind直接在原始DataFrame df中更新PREV_AMOUNT列的值。这种方式比创建新的DataFrame再合并效率更高。
预期输出
运行上述代码后，df将包含PREV_AMOUNT列，结果如下：
| KEY_ID | TYPE | AMOUNT | DATE | PREV_AMOUNT |
|---|---|---|---|---|
| 1 | Motor | 5000 | 2020-01-01 | NaN |
| 1 | Tool | 3000 | 2020-02-01 | 5000.0 |
| 1 | Tool | 7000 | 2020-03-01 | 5000.0 |
| 2 | Tool | 2000 | 2020-01-15 | NaN |
| 2 | Motor | 6000 | 2020-02-15 | 2000.0 |
| 2 | Tool | 4000 | 2020-03-15 | 6000.0 |
注意事项与扩展
- 性能考虑：尽管这种方法比apply函数在大型DataFrame上性能更好，但iterrows()在Python层面的迭代仍然不如Pandas的向量化操作快。对于极其庞大的数据集（数百万甚至上亿行），可能需要考虑更底层的优化，如Cython或Dask。然而，对于大多数常见规模的数据，此方法已足够高效且易于理解和维护。
-
交易类型数量：本教程假设只有两种交易类型（'Motor'和'Tool'）。如果存在更多类型的交易，需要稍微修改逻辑。可以维护一个字典，其中键是交易类型，值是该类型最近一次的金额。
# 扩展到多种交易类型 # last_amounts = {type_name: np.nan for type_name in df['TYPE'].unique()} # ... # if current_type in last_amounts: # other_types = [t for t in last_amounts if t != current_type] # # 简单地取第一个其他类型作为PREV_AMOUNT，或者根据业务逻辑选择 # df.loc[ind, 'PREV_AMOUNT'] = last_amounts[other_types[0]] if other_types else np.nan # last_amounts[current_type] = current_amount然而，如果“不同类型”指的是任何其他类型，且只需最近的一笔，那么上述双变量方法可以推广为维护一个last_any_other_type_amount变量，但这样就无法区分是哪种“其他”类型了。本教程的原始需求是针对特定两种类型互查，所以双变量是合适的。
- 初始值处理：np.nan作为初始值非常重要，它确保了在没有前序不同类型交易时，PREV_AMOUNT列能正确显示缺失值。
- 数据完整性：在实际应用中，应确保DATE列是日期时间类型，并且没有缺失值，以保证排序和时序逻辑的正确性。
总结
本教程提供了一种在Pandas DataFrame中计算每个交易的上一笔不同类型交易金额的有效方法。通过结合DataFrame的分组功能和Python的迭代逻辑，我们能够高效地处理复杂的时序依赖关系，同时避免了性能瓶颈。这种方法不仅适用于本例中的两种交易类型场景，稍加修改也可扩展到更复杂的业务需求。理解这种分组迭代模式对于处理各类时序和分组相关的数据分析任务具有重要意义。
