
本文介绍使用 pandas 的 `str.split()` 与 `explode()` 方法,高效、安全地将 dataframe 中多个字符串型列表列(如 "ms" 和 "ds")按元素一一配对展开为长格式,自动处理长度不一致时的填充(如补 nan)。
在数据清洗和预处理中,常遇到将多列逗号分隔字符串“同步展开”为多行的需求:即每行原始记录对应若干组 (MS_i, DS_j) 组合,且两列元素需按位置配对(而非笛卡尔积),当列长度不等时需用 NaN 补齐。Pandas 提供了简洁优雅的解决方案——结合 str.split()、zip_longest 和 explode()。
✅ 推荐实现(清晰、健壮、可读性强)
import pandas as pd
from itertools import zip_longest
# 示例数据
df = pd.DataFrame({
'ID': [654, 131, 598],
'MS': ['1500,10000,20000,30000', '1500,10000,20000', '1500,10000,20000,30000'],
'DS': ['60,365,730', '60,365,730', '60,365,730']
})
# 步骤 1:将 MS 和 DS 列转为 list(按逗号分割)
df[['MS', 'DS']] = df[['MS', 'DS']].apply(lambda x: x.str.split(','), axis=1)
# 步骤 2:逐行 zip_longest 配对,生成元组列表(自动以 None 填充短列)
df['paired'] = df.apply(lambda row: list(zip_longest(row['MS'], row['DS'])), axis=1)
# 步骤 3:explode 展开 paired 列,再拆分为独立列
df = df.explode('paired')
df[['MS', 'DS']] = pd.DataFrame(df['paired'].tolist(), index=df.index)
# 可选:将 MS/DS 转为数值类型(原始为字符串)
df['MS'] = pd.to_numeric(df['MS'], errors='coerce')
df['DS'] = pd.to_numeric(df['DS'], errors='coerce')
print(df[['ID', 'MS', 'DS']])输出结果:
ID MS DS 0 654 1500 60.0 0 654 10000 365.0 0 654 20000 730.0 0 654 30000 NaN 1 131 1500 60.0 1 131 10000 365.0 1 131 20000 730.0 2 598 1500 60.0 2 598 10000 365.0 2 598 20000 730.0 2 598 30000 NaN
⚠️ 注意事项与最佳实践
- zip_longest vs zip:务必使用 itertools.zip_longest(而非内置 zip),否则短列会被截断,丢失数据;
- fillvalue 参数:默认为 None,符合 pandas 的缺失值语义;若需显式 'Nan' 字符串,请传入 fillvalue='Nan',但注意这会改变数据类型(非数值);
- 性能优化:对大数据集,避免 apply(..., axis=1) 循环;本方案虽简洁,若性能敏感,可改用 pd.concat + map 手动构建索引,但可读性下降;
- 空值/异常处理:str.split(',') 对空字符串返回 [''],对 NaN 返回 NaN;建议前置清洗:df[['MS','DS']] = df[['MS','DS']].fillna('');
- 扩展性:该模式可轻松扩展至 3+ 列(如新增 'TS' 列),只需在 zip_longest(...) 中添加对应字段,并调整 pd.DataFrame(...).tolist() 的解包逻辑。
掌握此方法,即可稳健应对多列字符串同步展开这一高频数据整形任务。










