
本文介绍如何在 pandas 中对两个 dataframe 进行基于子字符串匹配的左连接:从 `b["id"]` 中提取 `a["name"]` 的精确单词匹配项,并完成一对一(`a` 行)到多对一(`b` 行)的关联,最终生成含匹配 id 或 nan 的结果表。
在实际数据处理中,常遇到“字段不完全相等但存在包含关系”的连接需求——例如 a["Name"] 是人名,而 b["ID"] 是形如 "Dale-999999" 的复合标识符。此时无法直接使用 merge(on=...),需先构造语义对齐的连接键。
核心思路是:在 b 表中新增一列 _name,该列从 b["ID"] 中精确提取出属于 a["Name"] 集合的子字符串(要求单词边界匹配,避免误匹配如 "Bill" 匹配 "Billy"),再以此列与 a["Name"] 执行左连接。
具体实现如下:
import pandas as pd
a = pd.DataFrame({"Name": ["Boomhaur", "Dale", "Bill", "Hank"]})
b = pd.DataFrame({"ID": ["Boomhaur-2345", "Dale-999999", "Bill-000", "Bill-001", "Peggy-420"]})
# 1. 构建正则模式:使用 \b 确保单词边界,防止部分匹配(如 'ill' 匹配 'Bill')
names_pattern = r'\b(' + '|'.join(a['Name'].str.replace(r'([\\.^$*+?{}\[\]|()])', r'\\\1', regex=True)) + r')\b'
# 2. 从 b["ID"] 中提取匹配的 Name(返回首匹配项,符合“至多一个 a 行匹配”约束)
b['_name'] = b["ID"].str.extract(names_pattern)
# 3. 左连接:a 每行保留,b 中匹配的行展开(支持一对多)
result = a.merge(b, how='left', left_on='Name', right_on='_name')
# 4. 清理中间列(可选)
result = result.drop(columns=['_name'])输出结果为:
Name ID 0 Boomhaur Boomhaur-2345 1 Dale Dale-999999 2 Bill Bill-000 3 Bill Bill-001 4 Hank NaN
⚠️ 注意事项:
- 正则转义:若 a["Name"] 中含正则元字符(如 ., *, +),必须预先转义(如示例中 str.replace(...)),否则会导致匹配异常;
- 匹配优先级:str.extract() 默认返回首个成功匹配,符合题设“每个 b["ID"] 至多对应一个 a["Name"]”的约束;
- 性能提示:当 a["Name"] 规模较大(>1000)时,建议改用 b["ID"].apply() + 预编译正则对象提升效率;
- 空值处理:未匹配的 a 行在 ID 列自动填充 NaN,符合左连接语义。
该方法兼顾准确性(单词边界)、可读性与扩展性,是处理“命名前缀式 ID 关联”场景的标准实践。










