引言
在数据处理过程中，我们经常需要根据dataframe中某一列或多列的条件来生成新的列。更复杂的情况是，新列的值不仅取决于当前行的条件，还可能依赖于其上方或下方的行的值。例如，当某一行的特定条件不满足时，我们可能希望新列继承其上方或下方最近一个满足条件的行的值。传统的循环方法在处理大型数据集时效率低下，而pandas提供了更高效的向量化操作来实现这一目标。
核心方法：Series.where()结合Series.bfill()或Series.ffill()
Pandas中的Series.where()方法允许我们根据布尔条件选择性地替换Series中的值。当条件为False时，对应位置的值将被替换为NaN（默认行为），而当条件为True时，原值保持不变。结合使用Series.bfill()（backward fill，向后填充）或Series.ffill()（forward fill，向前填充）可以巧妙地处理行间依赖关系。
假设我们有一个DataFrame df，包含 Colonne 1 和 Dimension 1 两列。我们的目标是创建一个新列 new，其规则如下：
- 如果 Dimension 1 的值为 'Organisation'，则 new 列取 Colonne 1 列的当前行的值。
- 如果 Dimension 1 的值不是 'Organisation'，则 new 列取其下方（或上方，取决于需求）最近一个 Dimension 1 为 'Organisation' 的行的 Colonne 1 值。
以下是示例DataFrame：
import pandas as pd
import numpy as np
data = {
'Colonne 1': ['MTN_LI2', 'MTN_IRU', 'MTN_ACE', 'MTN_IME', 'RIPP7', 'CA_SOT', 'CA_OTI', 'CNW00', 'BSNTF', 'RIPNJ'],
'Dimension 1': ['Indicator', 'Indicator', 'Indicator', 'Indicator', 'Organisation', 'Indicator', 'Indicator', 'Organisation', 'Organisation', 'Organisation']
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)原始DataFrame:
Colonne 1 Dimension 1 0 MTN_LI2 Indicator 1 MTN_IRU Indicator 2 MTN_ACE Indicator 3 MTN_IME Indicator 4 RIPP7 Organisation 5 CA_SOT Indicator 6 CA_OTI Indicator 7 CNW00 Organisation 8 BSNTF Organisation 9 RIPNJ Organisation
场景一：向后填充（bfill）——取下方最近的有效值
如果需求是当 Dimension 1 不是 'Organisation' 时，新列的值应取其下方最近一个 Dimension 1 为 'Organisation' 的行的 Colonne 1 值，我们可以使用 Series.bfill()。
df['new_bfill'] = df['Colonne 1'].where(df['Dimension 1'].eq('Organisation')).bfill()
print("\n使用 bfill() 的结果:")
print(df)解释：
- df['Dimension 1'].eq('Organisation') 生成一个布尔Series，指示哪些行 Dimension 1 等于 'Organisation'。
- df['Colonne 1'].where(...)：当布尔条件为True时（即 Dimension 1 为 'Organisation'），保留 Colonne 1 的原始值；当条件为False时，将 Colonne 1 的值替换为 NaN。 此时，new_bfill 列将变为：[NaN, NaN, NaN, NaN, 'RIPP7', NaN, NaN, 'CNW00', 'BSNTF', 'RIPNJ']。
- .bfill()：对这个包含 NaN 的Series进行向后填充。这意味着每个 NaN 值都会被其下方的第一个非 NaN 值填充。
- 索引0-3的NaN会被索引4的'RIPP7'填充。
- 索引5-6的NaN会被索引7的'CNW00'填充。
- 索引7-9的'CNW00', 'BSNTF', 'RIPNJ'保持不变，因为它们不是NaN。
输出结果:
GForge是一个基于Web的协同开发平台。它提供一组帮助你的团队进行协同开发的工具，如论坛，邮件列表等。用于创建和控制访问源代码管理库(如CVS，Subversion)的工具。GForge将自动创建一个源代码库并依据项目的角色设置进行访问控制。其它工具还包括：管理文件发布，文档管理，新闻公告，缺陷跟踪，任务管理等。
Colonne 1 Dimension 1 new_bfill 0 MTN_LI2 Indicator RIPP7 1 MTN_IRU Indicator RIPP7 2 MTN_ACE Indicator RIPP7 3 MTN_IME Indicator RIPP7 4 RIPP7 Organisation RIPP7 5 CA_SOT Indicator CNW00 6 CA_OTI Indicator CNW00 7 CNW00 Organisation CNW00 8 BSNTF Organisation BSNTF 9 RIPNJ Organisation RIPNJ
场景二：向前填充（ffill）——取上方最近的有效值
如果需求是当 Dimension 1 不是 'Organisation' 时，新列的值应取其上方最近一个 Dimension 1 为 'Organisation' 的行的 Colonne 1 值，我们可以使用 Series.ffill()。
df['new_ffill'] = df['Colonne 1'].where(df['Dimension 1'].eq('Organisation')).ffill()
print("\n使用 ffill() 的结果:")
print(df)解释：
- df['Colonne 1'].where(df['Dimension 1'].eq('Organisation')) 步骤与 bfill() 相同，生成包含 NaN 的Series。
- .ffill()：对这个包含 NaN 的Series进行向前填充。这意味着每个 NaN 值都会被其上方的第一个非 NaN 值填充。
- 索引0-3的NaN在它们上方没有非NaN值，所以它们将保持为NaN。
- 索引5-6的NaN会被索引4的'RIPP7'填充。
- 索引7-9的'CNW00', 'BSNTF', 'RIPNJ'保持不变。
输出结果:
Colonne 1 Dimension 1 new_bfill new_ffill 0 MTN_LI2 Indicator RIPP7 NaN 1 MTN_IRU Indicator RIPP7 NaN 2 MTN_ACE Indicator RIPP7 NaN 3 MTN_IME Indicator RIPP7 NaN 4 RIPP7 Organisation RIPP7 RIPP7 5 CA_SOT Indicator CNW00 RIPP7 6 CA_OTI Indicator CNW00 RIPP7 7 CNW00 Organisation CNW00 CNW00 8 BSNTF Organisation BSNTF BSNTF 9 RIPNJ Organisation RIPNJ RIPNJ
注意事项：
- 初始NaN值： 使用 ffill() 时，如果Series的开头部分是 NaN 且其上方没有有效值，这些 NaN 将会保留。同理，使用 bfill() 时，如果Series的末尾部分是 NaN 且其下方没有有效值，这些 NaN 也会保留。根据实际需求，可能需要对这些初始或末尾的 NaN 进行额外的处理（例如，填充一个默认值）。
- 性能： 这种组合方法是Pandas中处理此类问题的向量化、高效方式，尤其适用于大型数据集，远优于使用Python循环或 apply 方法。
- 灵活性： where() 方法可以接受更复杂的布尔条件，而 bfill() 和 ffill() 也可以配合 limit 参数来限制填充的范围。
总结
通过巧妙地结合 Series.where() 和 Series.bfill() / Series.ffill()，我们可以在Pandas中高效地创建依赖于行间关系的条件列。这种方法不仅代码简洁，而且在处理大规模数据时表现出卓越的性能，是Pandas数据操作中非常实用的技巧。理解其工作原理，可以帮助我们解决各种复杂的条件赋值和数据填充问题。
