基于部分字符串匹配合并 Pandas DataFrames

碧海醫心

发布时间：2025-09-28 18:53:28

930人浏览过

来源于php中文网

原创

基于部分字符串匹配合并 pandas dataframes

本文介绍如何基于一个 DataFrame 列中的部分文本与另一个 DataFrame 列进行匹配，并使用 Pandas 实现高效合并。我们将通过提取目标字符串，创建新的匹配列，最终完成两个 DataFrame 的合并操作，并提供详细的代码示例和注意事项。

问题背景

在数据处理中，经常会遇到需要合并两个 DataFrame 的情况，但标准的 pd.merge 函数要求两个 DataFrame 具有完全匹配的列。当一个 DataFrame 的列值包含另一个 DataFrame 列值的部分文本时，直接使用 pd.merge 无法达到预期效果。本文将提供一种解决方案，通过提取关键文本并创建新的列，实现基于部分字符串匹配的 DataFrame 合并。

解决方案

该方案的核心思想是：

从包含部分文本的 DataFrame (df1) 中，提取出与另一个 DataFrame (df2) 匹配的关键文本。
将提取出的文本作为新的一列添加到 df1 中。
使用新创建的列作为连接键，将 df1 和 df2 进行合并。

代码实现

假设我们有两个 DataFrame，df1 和 df2，它们的数据结构如下：

import pandas as pd

# df1
data1 = {'Hostname': ['ServerABC101', 'ServerABC102', 'ServerDDC103', 'ServerDDC609', 'ServerDDC103', 'ServerDDC609'],
         'Region': ['US', 'US', 'PAC', 'Emea', 'PAC', 'Emea'],
         'Model': ['Cisco', 'Cisco', 'Intel', 'Intel', 'Intel', 'Intel']}
df1 = pd.DataFrame(data1)

# df2
data2 = {'Site': ['ABC', 'DDC'],
         'City': ['NYC', 'DAL'],
         'State': ['NY', 'TX']}
df2 = pd.DataFrame(data2)

print("df1:")
print(df1)
print("\ndf2:")
print(df2)

我们的目标是基于 df2['Site'] 中的文本与 df1['Hostname'] 中的部分文本匹配，将 df1 和 df2 合并。假设 df1['Hostname'] 中包含 "Server" 之后的三位大写字母代表 df2['Site'] 的值。

首先，使用正则表达式从 df1['Hostname'] 中提取 Site 代码：

神笔马良

神笔马良 - AI让剧本一键成片。

下载

df1['Site'] = df1['Hostname'].str.extract(r"Server([A-Z]{3})")
print("\ndf1 after extracting Site:")
print(df1)

这里，str.extract(r"Server([A-Z]{3})") 使用正则表达式 Server([A-Z]{3}) 从 Hostname 列中提取匹配 "Server" 后面的三个大写字母。提取的结果将作为新的 'Site' 列添加到 df1 中。

接下来，使用 pd.merge 函数，基于新创建的 'Site' 列将 df1 和 df2 进行合并：

df1 = pd.merge(df1, df2, on='Site', how='left')
print("\nFinal merged df1:")
print(df1)

how='left' 参数指定使用左连接，即保留 df1 中的所有行，并将 df2 中匹配的行添加到 df1 中。如果df1中的Site在df2中没有匹配项，则City和State列将填充NaN。

完整代码示例

import pandas as pd

# df1
data1 = {'Hostname': ['ServerABC101', 'ServerABC102', 'ServerDDC103', 'ServerDDC609', 'ServerDDC103', 'ServerDDC609'],
         'Region': ['US', 'US', 'PAC', 'Emea', 'PAC', 'Emea'],
         'Model': ['Cisco', 'Cisco', 'Intel', 'Intel', 'Intel', 'Intel']}
df1 = pd.DataFrame(data1)

# df2
data2 = {'Site': ['ABC', 'DDC'],
         'City': ['NYC', 'DAL'],
         'State': ['NY', 'TX']}
df2 = pd.DataFrame(data2)

# 提取 Site 代码
df1['Site'] = df1['Hostname'].str.extract(r"Server([A-Z]{3})")

# 合并 DataFrame
df1 = pd.merge(df1, df2, on='Site', how='left')

print(df1)

注意事项

正则表达式： 正确选择和编写正则表达式至关重要。正则表达式需要准确匹配目标文本，避免提取错误的数据。
连接类型： how 参数决定了连接的类型。根据实际需求选择合适的连接类型，例如 left、right、inner、outer。
缺失值处理： 如果在 df1 中提取的 Site 代码在 df2 中不存在，合并后的 City 和 State 列将会出现缺失值（NaN）。需要根据实际情况处理这些缺失值，例如填充默认值或删除包含缺失值的行。
性能优化： 对于大型 DataFrame，使用矢量化操作（如 str.extract）通常比循环遍历更高效。
错误处理: 确保代码能够处理 Hostname 列中不包含 "Server" 加上三个大写字母的情况，避免程序崩溃。可以使用 .fillna() 方法为这些情况设置默认值，或者使用条件语句跳过这些行。