本文介绍了如何使用 Pandas 处理包含字典和列表的 DataFrame 列，并统计特定键（例如 'list_A'）对应的列表中，首个元素的非缺失值（非 NaN）的数量。通过示例代码，详细展示了两种实现方法，并解释了其原理和适用场景。掌握这些技巧，可以更有效地处理复杂数据结构，进行数据分析和清洗。
在数据分析中，经常会遇到 DataFrame 的某一列包含复杂的数据结构，例如字典，而字典的值又是一个列表。针对这种数据，我们需要提取特定信息进行统计分析。本文将介绍如何使用 Pandas 统计 DataFrame 字典列中列表首个元素的非缺失值数量。
示例数据
首先，我们创建一个包含字典和列表的 DataFrame：
import pandas as pd
data = [{"list_A": [2.93, 4.18, 4.18, None, 1.57, 1.57, 3.92, 6.27, 2.09, 3.14, 0.42, 2.09],
"list_B": [820, 3552, 7936, None, 2514, 4035, 6441, 15379, 2167, 6147, 3322, 1177]},
{"list_A": [2.51, 3.58, 3.58, None, 1.34, 1.34, 3.36, 5.37, 1.79, 2.69, 0.36, 1.79],
"list_B": [820, 3552, 7936, None, 2514, 4035, 6441, 15379, 2167, 6147, 3322, 1177]},
{"list_A": [None, 5.94, 5.94, None, 2.23, 2.23, 5.57, 8.9, 2.97, 4.45, 0.59, 2.97],
"list_B": [820, 3552, 7936, None, 2514, 4035, 6441, 15379, 2167, 6147, 3322, 1177]}]
# 创建一个名为 "column_dic" 的列的 DataFrame
df = pd.DataFrame({"column_dic": data})
print(df)我们的目标是创建一个新列 count_first_item，该列包含 column_dic 中每个字典的 list_A 列表中，第一个元素的非缺失值数量。
方法一：使用列表推导式和 pd.notna()
第一种方法是使用列表推导式来提取每个字典中 list_A 的第一个元素，然后使用 pd.notna() 函数判断是否为非缺失值，最后使用 sum() 函数统计非缺失值的数量。
import numpy as np
df['count_first_item'] = [pd.notna([y['list_A'][0] for y in x if isinstance(y, dict)]).sum()
for x in df['column_dic']]
print (df)这段代码首先使用列表推导式 [y['list_A'][0] for y in x] 从 column_dic 列的每个字典中提取 list_A 的第一个元素。isinstance(y, dict)用于确保y是字典类型，避免出现错误。然后，pd.notna() 函数判断每个元素是否为非缺失值，返回一个布尔值数组。最后，sum() 函数将布尔值数组中的 True 值（代表非缺失值）的数量加起来，得到非缺失值的总数。
方法二：使用 Series.explode()、Series.str.get() 和 DataFrameGroupBy.count()
第二种方法使用 Series.explode() 函数将 column_dic 列中的列表展开，然后使用 Series.str.get() 函数提取 list_A 的值，再使用 str[0] 提取第一个元素，最后使用 DataFrameGroupBy.count() 函数按组统计非缺失值的数量。
df['count_first_item'] = (df['column_dic'].explode().str.get('list_A').str[0]
.groupby(level=0).count())
print (df)这段代码首先使用 df['column_dic'].explode() 将 DataFrame 展开，使得每个字典成为单独的一行。然后，str.get('list_A') 提取每个字典中 list_A 对应的值，str[0] 提取 list_A 列表中的第一个元素。最后，groupby(level=0).count() 按照原始 DataFrame 的索引（level=0）进行分组，并统计每组中非缺失值的数量。
注意事项
- pd.notna() 函数用于判断是否为非缺失值，如果数据中包含其他类型的缺失值（例如空字符串），需要使用其他方法进行判断。
- Series.explode() 函数会将列表展开成多行，如果列表长度不一致，可能会导致数据错位。
- 如果字典中不存在 list_A 键，Series.str.get('list_A') 会返回 NaN 值，需要注意处理。
总结
本文介绍了两种使用 Pandas 统计 DataFrame 字典列中列表首个元素的非缺失值数量的方法。第一种方法使用列表推导式和 pd.notna() 函数，代码简洁易懂，适用于简单的数据结构。第二种方法使用 Series.explode()、Series.str.get() 和 DataFrameGroupBy.count() 函数，代码更灵活，适用于复杂的数据结构。在实际应用中，可以根据具体情况选择合适的方法。
