1. 数据重构需求概述
在数据分析工作中，我们经常会遇到以“宽”格式存储的数据，其中包含大量重复模式的列组。例如，一个Excel表格可能包含多对id和mprice列，如id_m00、mprice、id_m01、mprice，依此类推。这种结构虽然在某些情况下便于数据录入，但在进行数据分析或构建模型时，通常需要将其转换为“长”格式，即每行代表一个独立的观测值，且相关的id和mprice数据分别位于单独的列中。
原始数据示例：
| Date | id_m00 | mprice | id_m01 | mprice |
|---|---|---|---|---|
| 01.01.2023 | aa-bb-cc | 12,05 | dd-ee-fr | 8,80 |
| 02.01.2023 | aa-dd-ee | 09,55 | ff-gg-gg | 7,50 |
目标数据结构：
| Date | id | mprice |
|---|---|---|
| 01.01.2023 | aa-bb-cc | 12,05 |
| 02.01.2023 | aa-dd-ee | 09,55 |
| 01.01.2023 | dd-ee-fr | 8,80 |
| 02.01.2023 | ff-gg-gg | 7,50 |
对于这种特定的重构需求，传统的pd.melt函数可能不够直接，容易产生额外的中间列或大量的空值，需要后续进行复杂的清理。而pd.lreshape函数则为此类场景提供了更为优雅和高效的解决方案。
2. 使用 pd.lreshape 进行数据重构
pd.lreshape函数专门用于处理具有固定模式列组的宽表数据。它的核心思想是指定一组“stubnames”（存根名称）以及这些存根名称对应的所有列，然后将它们堆叠起来。
2.1 核心概念
pd.lreshape的语法如下： pandas.lreshape(data, column_groups, dropna=False)
- data: 要进行重塑的DataFrame。
- column_groups: 一个字典，键是新的列名（即重塑后的列名），值是一个列表，包含原始DataFrame中属于该新列名的所有列名。这些列表中的列名必须按照它们在原始DataFrame中的逻辑顺序排列，以确保正确配对。
2.2 实现步骤与代码示例
假设我们已经将Excel数据加载到一个名为df的Pandas DataFrame中。
import pandas as pd
# 模拟加载原始Excel数据
# 在实际应用中，您会使用 pd.read_excel("您的文件路径.xlsx")
data = {
'Date': ['01.01.2023', '02.01.2023'],
'id_m00': ['aa-bb-cc', 'aa-dd-ee'],
'mprice': ['12,05', '09,55'],
'id_m01': ['dd-ee-fr', 'ff-gg-gg'],
'mprice.1': ['8,80', '7,50'] # 注意：Pandas在加载重复列名时会自动添加后缀，如 mprice.1
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)
print("-" * 30)
# 定义要重塑的列组
# 使用 df.filter(like="...") 可以方便地选择所有匹配模式的列
# 对于 'id' 列组，我们选择所有包含 'id_m' 的列
id_columns = df.filter(like="id_m").columns.tolist()
# 对于 'mprice' 列组，我们选择所有包含 'price' 的列
# 注意这里我们使用了 'price' 而不是 'mprice'，因为加载后可能有 'mprice.1' 等
mprice_columns = df.filter(like="price").columns.tolist()
# 使用 lreshape 进行重塑
# column_groups 字典的键是重塑后的列名，值是原始DataFrame中对应的列名列表
out = pd.lreshape(
df,
{"id": id_columns, "mprice": mprice_columns}
)
# 格式化 mprice 列，将逗号替换为小数点并转换为数值类型
out['mprice'] = out['mprice'].str.replace(',', '.').astype(float)
print("\n重塑后的DataFrame:")
print(out)代码解释：
- 数据加载模拟： pd.DataFrame(data) 模拟了从Excel文件加载数据后的DataFrame结构。特别注意，当Excel中存在同名列（如多个mprice）时，Pandas在加载时会自动为后续的同名列添加.1, .2等后缀，例如mprice.1。这是lreshape能够正确识别并配对的关键。
-
识别列组：
- df.filter(like="id_m").columns.tolist() 会返回所有列名中包含“id_m”的列，例如['id_m00', 'id_m01']。
- df.filter(like="price").columns.tolist() 会返回所有列名中包含“price”的列，例如['mprice', 'mprice.1']。 这些列表将作为lreshape中column_groups字典的值。
-
执行 lreshape：
- {"id": id_columns, "mprice": mprice_columns} 定义了重塑的规则。它告诉lreshape，将id_columns列表中的所有列（按顺序）合并到新的id列下，同时将mprice_columns列表中的所有列（按顺序）合并到新的mprice列下。由于列名列表是按原始顺序提供的，lreshape能够智能地将id_m00与第一个mprice配对，id_m01与mprice.1配对，以此类推。
- 数据类型转换： 原始数据中的mprice可能包含逗号作为小数分隔符，并且是字符串类型。out['mprice'].str.replace(',', '.').astype(float) 将其转换为标准的浮点数类型，以便后续的数值计算。
3. 注意事项与总结
- 列名规范性： pd.lreshape非常依赖于原始列名的模式。确保您的宽表数据中的列名遵循可识别的模式（例如，id_mXX和mprice）。
- Pandas加载Excel的列名处理： 当Excel文件中存在重复的列名时，pd.read_excel会自动为后续的重复列名添加数字后缀（如mprice, mprice.1, mprice.2）。lreshape正是利用了这种机制来正确匹配对应的列。因此，在构建column_groups时，使用df.filter(like="...")这种模式匹配的方式来获取所有相关列，比手动列出所有列名更为健壮和方便。
- 与 melt 的区别： 尽管melt也能用于宽到长的转换，但对于这种具有固定配对模式的列（如id和value总是成对出现），lreshape提供了更直接、更少中间步骤的解决方案，避免了melt可能产生的额外variable列和需要后续透视才能恢复原始配对的复杂性。
- 性能： 对于大型数据集，lreshape通常表现出良好的性能，因为它针对这种特定类型的重塑进行了优化。
通过掌握pd.lreshape，数据分析师和工程师可以高效地处理复杂的宽表数据重构任务，将数据转换为更利于分析和建模的“长”格式，从而提升数据处理的效率和准确性。
