Pandas中按组生成递增序列ID

本文详细介绍了如何在pandas dataframe中，根据指定列（如'city'）对数据进行分组，并为每个组内的记录生成从1开始的递增序列id。通过结合使用`groupby()`方法和`cumcount()`函数，可以有效地实现分组计数重置的需求，从而构建出符合业务逻辑的复合id字符串，避免了传统索引计数无法按组重置的问题。

在数据处理和分析中，我们经常需要为数据集中的记录生成唯一的标识符（ID）。当这些ID需要根据某个分类字段进行分组，并且在每个组内重新开始递增计数时，传统的全局索引或简单计数方法就无法满足需求。例如，在一个包含多个城市的数据集中，我们可能希望为每个城市的居民生成一个从1开始的本地ID，而不是一个跨城市的全局ID。

问题描述与传统方法的局限性

假设我们有一个包含“城市”（City）和“姓名”（Name）的DataFrame，目标是生成一个复合ID，格式为“城市前三位-姓名前三位-组内序号”。如果简单地使用DataFrame的全局索引进行拼接，如下所示：

import pandas as pd

data = {
    'City': ['Paris', 'Paris', 'Paris', 'Paris', 'Rome', 'Rome', 'Rome'],
    'Name': ['John', 'Paul', 'Pierre', 'Paula', 'Riccardo', 'Jean-Paul', 'Franc']
}
df = pd.DataFrame(data)

# 错误尝试：使用全局索引
df['Id_Global'] = df.City.str[:3] + '-' + df.Name.str[:3] + '-' + df.index.astype(str)
print("使用全局索引的ID：")
print(df)

输出结果会是：

使用全局索引的ID：
    City       Name    Id_Global
0  Paris       John  Par-Joh-0
1  Paris       Paul  Par-Pau-1
2  Paris     Pierre  Par-Pie-2
3  Paris      Paula  Par-Pau-3
4   Rome   Riccardo  Rom-Ric-4
5   Rome  Jean-Paul  Rom-Jea-5
6   Rome      Franc  Rom-Fra-6

可以看到，当城市从“Paris”变为“Rome”时，ID的序号并没有从1（或0）重新开始计数，而是继续了全局的递增。这与我们的期望不符。

解决方案：使用 GroupBy.cumcount()

Pandas提供了一个非常强大的工具来解决这类分组计数问题：DataFrame.groupby().cumcount()。这个函数能够对DataFrame按指定列进行分组，并为每个组内的行生成一个从0开始的递增计数。

Dreamlike.art

内置5种模型的AI图像生成器

57

查看详情

cumcount() 函数详解

• groupby('列名'): 首先，我们需要根据哪个列来定义“组”。在这个例子中，就是'City'列。
• .cumcount(): 对每个分组内部的行进行累积计数。它会为每个组的第一行返回0，第二行返回1，依此类推。

实现步骤

1. 分组并生成组内计数： 使用 df.groupby('City').cumcount() 为每个城市生成一个从0开始的序列号。
2. 调整计数： cumcount() 返回的是0-indexed的计数，如果我们需要从1开始，可以简单地加上1：.add(1)。
3. 类型转换： 将生成的数值型计数转换为字符串，以便与城市和姓名的前缀进行拼接：.astype(str)。
4. 拼接字符串： 将城市前缀、姓名前缀和处理后的组内序号拼接起来，形成最终的ID。

示例代码

import pandas as pd

# 原始数据
data = {
    'City': ['Paris', 'Paris', 'Paris', 'Paris', 'Rome', 'Rome', 'Rome'],
    'Name': ['John', 'Paul', 'Pierre', 'Paula', 'Riccardo', 'Jean-Paul', 'Franc']
}
df = pd.DataFrame(data)

# 生成符合期望的ID
df['Id'] = (df.City.str[:3] + '-' +          # 城市前三位
            df.Name.str[:3] + '-' +          # 姓名前三位
            df.groupby('City').cumcount().add(1).astype(str)) # 组内计数，从1开始

print("使用 GroupBy.cumcount 生成的ID：")
print(df)

输出结果：

使用 GroupBy.cumcount 生成的ID：
    City       Name         Id
0  Paris       John  Par-Joh-1
1  Paris       Paul  Par-Pau-2
2  Paris     Pierre  Par-Pie-3
3  Paris      Paula  Par-Pau-4
4   Rome   Riccardo  Rom-Ric-1
5   Rome  Jean-Paul  Rom-Jea-2
6   Rome      Franc  Rom-Fra-3

可以看到，当城市从“Paris”变为“Rome”时，ID的序号成功地从1重新开始计数，完全符合我们的预期。

注意事项与最佳实践

• 性能考量： 对于非常大的数据集，groupby()操作可能需要一定的计算资源。确保你的DataFrame有足够的内存，并考虑对大数据集进行分块处理（如果适用）。
• 索引重置： cumcount()是基于DataFrame的当前顺序进行计数的。如果你的DataFrame在分组前经过了排序，那么cumcount()的顺序将反映这个排序。如果顺序很重要，请确保在调用cumcount()之前对DataFrame进行了适当的排序。
• 多列分组： 如果需要根据多个列进行分组并生成组内ID，只需在groupby()中传入一个列名列表即可，例如 df.groupby(['City', 'Country']).cumcount()。
• ID的唯一性： 尽管cumcount()保证了组内的唯一性，但最终生成的复合ID的全局唯一性取决于你的前缀组合（城市前三位、姓名前三位）是否足够独特。在实际应用中，如果需要严格的全局唯一ID，可能还需要结合其他策略，如UUID或更复杂的哈希算法。

总结

pandas.DataFrame.groupby().cumcount() 是一个处理分组内序列生成问题的强大且高效的方法。它极大地简化了原本可能需要循环或更复杂逻辑才能实现的任务。通过掌握这一技巧，开发者可以更灵活地处理数据，生成满足特定业务需求的复合标识符。在需要按类别重置计数的情境下，cumcount()无疑是首选的解决方案。

以上就是Pandas中按组生成递增序列ID的详细内容，更多请关注php中文网其它相关文章！