本文详细介绍了如何在pandas dataframe中，将包含numpy数组的“键”和“值”列展开为新的独立列。文章提供了两种主要场景的解决方案：当键在所有行中一致时，以及当键在不同行中不一致时。通过使用`join`、`dataframe`构造函数和列表推导等方法，读者将学会如何高效地重塑数据结构，以满足分析和报告需求。
在数据处理和分析中，我们经常会遇到DataFrame中某些列包含列表或Numpy数组的情况。当这些数组中的元素需要作为新的独立列时，传统的宽窄表转换方法可能无法直接适用。本教程将深入探讨如何将DataFrame中包含Numpy数组的“键”（作为新列名）和“值”（作为新列数据）展开成新的列，同时覆盖键一致和键不一致两种常见场景。
准备示例数据
首先，我们创建两个示例DataFrame，一个用于演示键一致的情况，另一个用于演示键不一致的情况。
import pandas as pd
import numpy as np
# 键一致的示例数据
source_df_identical_keys = pd.DataFrame(
[
['data_A1', 'data_B1', np.array(['key1', 'key2', 'key3']), np.array(['value1a', 'value2a', 'value3a'])],
['data_A2', 'data_B2', np.array(['key1', 'key2', 'key3']), np.array(['value1b', 'value2b', 'value3b'])],
['data_A3', 'data_B3', np.array(['key1', 'key2', 'key3']), np.array(['value1c', 'value2c', 'value3c'])]
],
columns=['Col A', 'Col B', 'keys', 'values']
)
# 键不一致的示例数据
source_df_non_identical_keys = pd.DataFrame(
[
['data_X1', 'data_Y1', np.array(['key1', 'key2', 'key3']), np.array(['value1x', 'value2x', 'value3x'])],
['data_X2', 'data_Y2', np.array(['key3', 'key4', 'key1']), np.array(['value3y', 'value4y', 'value1y'])]
],
columns=['Col A', 'Col B', 'keys', 'values']
)
print("原始DataFrame (键一致):")
print(source_df_identical_keys)
print("\n原始DataFrame (键不一致):")
print(source_df_non_identical_keys)场景一：键在所有行中一致
当DataFrame中的keys列在所有行中都包含相同的Numpy数组时，我们可以利用这个特性来高效地创建新列。
方法一：使用 drop 和 join
这种方法首先将原始的keys和values列删除，然后创建一个新的DataFrame，其列名取自keys列的第一行（因为所有行都相同），数据取自values列。最后，将这个新DataFrame与原始DataFrame的剩余部分进行连接。
# 复制一份DataFrame以避免修改原始数据
df_identical_keys = source_df_identical_keys.copy()
# 提取values并转换为列表，用第一行的keys作为列名
expanded_df = pd.DataFrame(df_identical_keys['values'].tolist(),
columns=df_identical_keys['keys'].iloc[0])
# 删除原始的'keys'和'values'列，然后与新生成的DataFrame连接
result_df_identical_keys_join = (df_identical_keys.drop(columns=['keys', 'values'])
.join(expanded_df))
print("\n展开后的DataFrame (键一致，使用join):")
print(result_df_identical_keys_join)代码解析：
- df_identical_keys['values'].tolist(): 将values列中的Numpy数组转换为Python列表的列表。
- df_identical_keys['keys'].iloc[0]: 由于所有行的keys都相同，我们取第一行的keys数组作为新DataFrame的列名。
- pd.DataFrame(...): 使用转换后的列表数据和提取的列名创建新的DataFrame。
- df_identical_keys.drop(columns=['keys', 'values']): 从原始DataFrame中删除不再需要的keys和values列。
- .join(expanded_df): 将删除列后的DataFrame与新创建的expanded_df按索引进行连接。
方法二：原地修改 DataFrame
如果希望直接修改原始DataFrame而不是创建新的DataFrame，可以使用 pop 方法。pop 方法会从DataFrame中移除指定的列并返回它们。
# 复制一份DataFrame以避免修改原始数据
df_identical_keys_inplace = source_df_identical_keys.copy()
# 使用pop移除'keys'列并获取其第一行的值作为新列名
new_columns = df_identical_keys_inplace.pop('keys').iloc[0]
# 使用pop移除'values'列并将其转换为DataFrame，然后赋值给新列名
df_identical_keys_inplace[new_columns] = pd.DataFrame(df_identical_keys_inplace.pop('values').tolist())
print("\n展开后的DataFrame (键一致，原地修改):")
print(df_identical_keys_inplace)代码解析：
- df_identical_keys_inplace.pop('keys').iloc[0]: 移除keys列并获取其第一行的值（即['key1', 'key2', 'key3']），作为后续新列的名称。
- df_identical_keys_inplace.pop('values').tolist(): 移除values列并将其内容转换为列表的列表。
- pd.DataFrame(...): 将转换后的列表数据转换为一个临时的DataFrame。
- df_identical_keys_inplace[new_columns] = ...: 将临时DataFrame的列赋值给原始DataFrame中以new_columns为名的新列。
场景二：键在不同行中不一致
当keys列在不同行中包含不同的Numpy数组时，上述方法不再适用，因为不能简单地取第一行的键作为所有列名。此时，我们需要更灵活的方法来处理可能出现的缺失值。
方法：使用字典和 join
这种方法的核心思想是为每一行创建一个字典，将该行的键和值配对。然后，将这些字典的列表转换为一个新的DataFrame，它会自动处理不同行中存在的不同键，并用 NaN 填充缺失值。
# 复制一份DataFrame以避免修改原始数据
df_non_identical_keys = source_df_non_identical_keys.copy()
# 为每一行创建字典，将键和值配对
# 例如：{'key1': 'value1x', 'key2': 'value2x', 'key3': 'value3x'}
dict_list = [dict(zip(k, v)) for k, v in zip(df_non_identical_keys['keys'], df_non_identical_keys['values'])]
# 将字典列表转换为DataFrame
expanded_df_non_identical = pd.DataFrame(dict_list)
# 删除原始的'keys'和'values'列，然后与新生成的DataFrame连接
result_df_non_identical_keys = (df_non_identical_keys.drop(columns=['keys', 'values'])
.join(expanded_df_non_identical))
print("\n展开后的DataFrame (键不一致):")
print(result_df_non_identical_keys)代码解析：
- zip(df_non_identical_keys['keys'], df_non_identical_keys['values']): 将keys和values两列的对应元素打包成元组。
- [dict(zip(k, v)) for k, v in ... ]: 这是一个列表推导式。对于每一对(k, v)（即一行中的键数组和值数组），zip(k, v)将它们配对，dict(...)将这些配对转换为字典。例如，第一行会生成{'key1': 'value1x', 'key2': 'value2x', 'key3': 'value3x'}。
- pd.DataFrame(dict_list): Pandas的DataFrame构造函数可以直接接受字典列表。它会自动识别所有字典中的键，将它们作为列名，并填充相应的值。如果某个键在某行中不存在，则会用 NaN 填充。
- df_non_identical_keys.drop(columns=['keys', 'values']).join(expanded_df_non_identical): 与键一致场景类似，删除原始列后进行连接。
注意事项与总结
- 数据类型： 展开后的新列的数据类型将取决于原始values数组中的元素类型。如果values包含混合类型，Pandas可能会推断出object类型。
- 性能： 对于非常大的DataFrame，特别是当keys和values数组非常长时，列表推导式或tolist()操作可能会消耗较多内存和时间。在极端情况下，可能需要考虑更优化的Pandas或Numpy操作。
- 缺失值处理： 当键不一致时，展开操作会自动引入NaN（Not a Number）来表示缺失值。在后续分析中，您可能需要对这些NaN值进行填充（例如fillna(0)或fillna('')）或删除。
- 原始列的移除： 无论是使用drop还是pop，原始的keys和values列都会被移除。如果您需要保留这些原始列，请在操作前创建DataFrame的副本。
通过本文介绍的这些方法，您可以灵活高效地将DataFrame中包含Numpy数组的列展开为独立的、可直接用于分析的新列，从而更好地组织和利用您的数据。
