
本文介绍了如何使用 Pandas 根据日期、名称、产品以及经过时间这四个维度为数据帧分配唯一ID。核心在于当相同日期、名称和产品组合下,经过时间大于等于100秒时,ID需要递增,直到日期、名称或产品发生变化。本文提供两种解决方案,并解释了其原理和适用场景。
解决方案一:基于比较和累积求和
此方案的核心思想是:首先,比较当前行与前一行的 "Date"、"Name" 和 "Product" 列的值是否发生变化;然后,判断 "Elapsed_time" 是否大于等于 100。只要上述两个条件中的任何一个成立,就递增 ID。
以下是实现该功能的代码:
import pandas as pd
# 示例数据
data = {'Date': ['10/25/23', '10/25/23', '10/25/23', '10/25/23', '10/25/23', '10/25/23', '10/26/23', '10/27/23', '10/27/23', '10/27/23', '10/27/23', '10/27/23', '10/27/23', '10/27/23'],
'Name': ['Bill', 'Bill', 'John', 'John', 'John', 'John', 'John', 'Carl', 'Carl', 'Carl', 'Carl', 'Carl', 'Carl', 'Carl'],
'Product': ['A', 'A', 'B', 'B', 'B', 'B', 'C', 'A', 'A', 'A', 'A', 'B', 'A', 'A'],
'Elapsed_time': [30, 99, 10, 100, 1, 15, 45, 120, 99, 80, 101, 300, 12, 37]}
df = pd.DataFrame(data)
cols = ['Date', 'Name', 'Product']
df['id'] = (df[cols].ne(df[cols].shift())
.assign(x=df['Elapsed_time'].ge(100))
.any(axis=1).cumsum()
)
print(df)代码解释:
- cols = ['Date', 'Name', 'Product']: 定义需要进行比较的列名列表。
- df[cols].ne(df[cols].shift()): 使用 shift() 函数将 "Date"、"Name" 和 "Product" 列向下移动一行,然后使用 ne() 函数比较当前行与前一行是否不同。这将返回一个布尔型 DataFrame,指示哪些列发生了变化。
- .assign(x=df['Elapsed_time'].ge(100)): 创建一个新的布尔列 'x',指示 "Elapsed_time" 是否大于等于 100。
- .any(axis=1): 对每一行应用 any() 函数,检查 "Date"、"Name"、"Product" 是否有任何一个发生变化,或者 "Elapsed_time" 是否大于等于 100。只要满足其中一个条件,就返回 True。
- .cumsum(): 对布尔型 Series 应用 cumsum() 函数,计算累积和。由于 True 被视为 1,False 被视为 0,因此 cumsum() 会在每次满足条件时递增。
输出结果:
Date Name Product Elapsed_time id 0 10/25/23 Bill A 30 1 1 10/25/23 Bill A 99 1 2 10/25/23 John B 10 2 3 10/25/23 John B 100 3 4 10/25/23 John B 1 3 5 10/25/23 John B 15 3 6 10/26/23 John C 45 4 7 10/27/23 Carl A 120 5 8 10/27/23 Carl A 99 5 9 10/27/23 Carl A 80 5 10 10/27/23 Carl A 101 6 11 10/27/23 Carl B 300 7 12 10/27/23 Carl A 12 8 13 10/27/23 Carl A 37 8
适用场景:
此方案适用于数据帧未排序的情况。它通过比较相邻行来确定 ID 是否需要递增,因此不受数据顺序的影响。
解决方案二:基于分组和累积求和 (原答案)
此方案基于数据帧已经按照 "Date"、"Name" 和 "Product" 列排序的前提。它首先使用 groupby() 函数对数据进行分组,然后为每个组分配一个唯一的 ID。此外,它还考虑了 "Elapsed_time" 大于等于 100 的情况,并根据需要递增 ID。
以下是实现该功能的代码:
import pandas as pd
# 示例数据
data = {'Date': ['10/25/23', '10/25/23', '10/25/23', '10/25/23', '10/25/23', '10/25/23', '10/26/23'],
'Name': ['Bill', 'Bill', 'John', 'John', 'John', 'John', 'John'],
'Product': ['A', 'A', 'B', 'B', 'B', 'B', 'C'],
'Elapsed_time': [30, 99, 10, 100, 1, 15, 45]}
df = pd.DataFrame(data)
df['id'] = (df.groupby(['Date', 'Name', 'Product']).ngroup()
.add(1+df['Elapsed_time'].ge(100).cumsum())
)
print(df)代码解释:
- df.groupby(['Date', 'Name', 'Product']).ngroup(): 使用 groupby() 函数对数据按照 "Date"、"Name" 和 "Product" 列进行分组,并使用 ngroup() 函数为每个组分配一个唯一的整数 ID。
- df['Elapsed_time'].ge(100).cumsum(): 创建一个布尔型 Series,指示 "Elapsed_time" 是否大于等于 100,然后使用 cumsum() 函数计算累积和。
- .add(1+ ...): 将分组ID加上1,再加上Elapsed_time大于等于100的累积和。
输出结果:
Date Name Product Elapsed_time id 0 10/25/23 Bill A 30 1 1 10/25/23 Bill A 99 1 2 10/25/23 John B 10 2 3 10/25/23 John B 100 3 4 10/25/23 John B 1 3 5 10/25/23 John B 15 3 6 10/26/23 John C 45 4
适用场景:
此方案适用于数据帧已经按照 "Date"、"Name" 和 "Product" 列排序的情况。如果数据未排序,则结果可能不正确。
总结
本文介绍了两种使用 Pandas 根据多列和时间分配唯一ID的解决方案。第一种方案适用于数据帧未排序的情况,而第二种方案适用于数据帧已经排序的情况。选择哪种方案取决于数据的特点和需求。在实际应用中,请务必根据数据的实际情况选择合适的方案。此外,在处理时间数据时,请确保数据类型正确,并进行适当的格式转换。










