
本文介绍了如何使用 Pandas DataFrame 根据条件批量更新多行数据,避免循环操作,提高代码效率。核心思路是利用 map() 函数和 update() 函数,将第二个 DataFrame 转换为映射关系,然后根据第一个 DataFrame 的 Symbol 列进行匹配,批量更新 SecurityID 列。
批量更新 DataFrame 中匹配条件的行
在数据处理过程中,经常会遇到需要根据一个 DataFrame 的信息,批量更新另一个 DataFrame 中符合特定条件的行。例如,我们有两个 DataFrame,df1 和 df2,其中 df1 包含 Symbol 和 SecurityID 列,df2 包含 Symbol 和对应的 SecurityID。我们需要根据 df2 中的 Symbol 和 SecurityID 的对应关系,更新 df1 中所有 Symbol 相同的行的 SecurityID。
以下是一种高效的方法,无需循环即可实现此目的:
1. 准备数据
首先,创建两个示例 DataFrame:
import pandas as pd
# DataFrame 1
data1 = {'Symbol': ['UGE', 'UGE', 'UGE', 'UGE', 'UGE', 'UGE'],
'SecurityID': [None, None, None, None, None, None]}
df1 = pd.DataFrame(data1)
# DataFrame 2
data2 = {'Symbol': ['UGE'],
'SecurityID': [128901]}
df2 = pd.DataFrame(data2)2. 使用 map() 和 update() 函数
核心代码如下:
df1['SecurityID'].update(df1['Symbol'].map(df2.set_index('Symbol')['SecurityID']))这行代码分两步完成:
网趣购物系统静态版支持网站一键静态生成,采用动态进度条模式生成静态,生成过程更加清晰明确,商品管理上增加淘宝数据包导入功能,与淘宝数据同步更新!采用领先的AJAX+XML相融技术,速度更快更高效!系统进行了大量的实用性更新,如优化核心算法、增加商品图片批量上传、谷歌地图浏览插入等,静态版独特的生成算法技术使静态生成过程可随意掌控,从而可以大大减轻服务器的负担,结合多种强大的SEO优化方式于一体,使
- df2.set_index('Symbol')['SecurityID']: 这部分代码将 df2 的 Symbol 列设置为索引,然后选择 SecurityID 列,从而创建一个 Series,其中 Symbol 作为索引,SecurityID 作为值。本质上创建了一个从 Symbol 到 SecurityID 的映射。
- df1['Symbol'].map(...): 这部分代码使用 df1 的 Symbol 列,利用 map() 函数,将每个 Symbol 映射到其对应的 SecurityID。如果 Symbol 在 df2 中不存在,则映射结果为 NaN。
- df1['SecurityID'].update(...): 最后,使用 update() 函数,将 df1 的 SecurityID 列中,与映射结果对应位置的值进行更新。
3. 验证结果
执行完上述代码后,df1 将被更新,所有 Symbol 为 'UGE' 的行的 SecurityID 都将变为 128901。
print(df1)
输出结果:
Symbol SecurityID 0 UGE 128901.0 1 UGE 128901.0 2 UGE 128901.0 3 UGE 128901.0 4 UGE 128901.0 5 UGE 128901.0
完整代码示例:
import pandas as pd
# DataFrame 1
data1 = {'Symbol': ['UGE', 'UGE', 'UGE', 'UGE', 'UGE', 'UGE'],
'SecurityID': [None, None, None, None, None, None]}
df1 = pd.DataFrame(data1)
# DataFrame 2
data2 = {'Symbol': ['UGE'],
'SecurityID': [128901]}
df2 = pd.DataFrame(data2)
# 更新 df1 的 SecurityID
df1['SecurityID'].update(df1['Symbol'].map(df2.set_index('Symbol')['SecurityID']))
print(df1)注意事项:
- 确保 df2 中的 Symbol 列是唯一的,否则 set_index() 会抛出异常。 如果不唯一,需要根据实际情况进行处理,例如选择第一个值或进行聚合。
- 如果 df1 中的 Symbol 在 df2 中不存在,则对应的 SecurityID 将被更新为 NaN。 可以使用 fillna() 函数处理这些 NaN 值。
- update() 函数会直接修改 df1,如果需要保留原始 df1,请先进行复制。
总结:
使用 map() 和 update() 函数可以高效地批量更新 Pandas DataFrame 中匹配条件的行,避免了循环操作,提高了代码的执行效率。 这种方法在处理大型数据集时尤为重要。 理解并掌握这种方法,可以提升数据处理的效率和代码的可读性。









