本文介绍了如何使用 Pandas 处理包含字典和列表的 DataFrame 列，并统计特定列表（例如 'list_A'）中首个元素的非空值数量。通过 notna 函数、列表推导式以及 explode 和 groupby 方法，展示了两种高效的实现方式，并提供了详细的代码示例，帮助读者掌握处理复杂数据结构的技巧。
在数据分析中，经常会遇到 DataFrame 的某一列包含复杂的数据结构，例如字典，而字典的值又包含列表。如果需要对这些列表中的元素进行统计分析，就需要掌握一些特定的 Pandas 技巧。本文将介绍如何统计 DataFrame 中字典列的特定列表（例如 'list_A'）中，首个元素的非空值数量。
方法一：使用列表推导式和 notna 函数
这种方法的核心是使用列表推导式提取每个字典中 'list_A' 的第一个元素，然后使用 pd.notna 函数判断是否为空值，最后使用 sum 函数统计非空值的数量。
import pandas as pd
data = [{"list_A": [2.93, 4.18, 4.18, None, 1.57, 1.57, 3.92, 6.27, 2.09, 3.14, 0.42, 2.09],
"list_B": [820, 3552, 7936, None, 2514, 4035, 6441, 15379, 2167, 6147, 3322, 1177]},
{"list_A": [2.51, 3.58, 3.58, None, 1.34, 1.34, 3.36, 5.37, 1.79, 2.69, 0.36, 1.79],
"list_B": [820, 3552, 7936, None, 2514, 4035, 6441, 15379, 2167, 6147, 3322, 1177]},
{"list_A": [None, 5.94, 5.94, None, 2.23, 2.23, 5.57, 8.9, 2.97, 4.45, 0.59, 2.97],
"list_B": [820, 3552, 7936, None, 2514, 4035, 6441, 15379, 2167, 6147, 3322, 1177]}]
# 创建一个 DataFrame，其中包含一个名为 "column_dic" 的列
df = pd.DataFrame({"column_dic": [data]})
df['count_first_item'] = [pd.notna([y['list_A'][0] for y in x]).sum()
for x in df['column_dic']]
print(df)这段代码首先创建了一个 DataFrame，其中 column_dic 列包含一个包含多个字典的列表。然后，使用列表推导式 [y['list_A'][0] for y in x] 提取每个字典中 'list_A' 的第一个元素。pd.notna() 函数判断这些元素是否为非空值，返回一个布尔值列表。最后，sum() 函数将 True (非空值) 的数量加总，得到非空值的总数，并将结果赋值给新的列 count_first_item。
方法二：使用 explode、str.get 和 groupby 函数
这种方法利用了 Pandas 的 explode 函数将列表展开，然后使用 str.get 函数获取 'list_A' 列表，再使用 str[0] 获取列表的第一个元素，最后使用 groupby 函数按原始索引分组并计数非空值。
import pandas as pd
data = [{"list_A": [2.93, 4.18, 4.18, None, 1.57, 1.57, 3.92, 6.27, 2.09, 3.14, 0.42, 2.09],
"list_B": [820, 3552, 7936, None, 2514, 4035, 6441, 15379, 2167, 6147, 3322, 1177]},
{"list_A": [2.51, 3.58, 3.58, None, 1.34, 1.34, 3.36, 5.37, 1.79, 2.69, 0.36, 1.79],
"list_B": [820, 3552, 7936, None, 2514, 4035, 6441, 15379, 2167, 6147, 3322, 1177]},
{"list_A": [None, 5.94, 5.94, None, 2.23, 2.23, 5.57, 8.9, 2.97, 4.45, 0.59, 2.97],
"list_B": [820, 3552, 7936, None, 2514, 4035, 6441, 15379, 2167, 6147, 3322, 1177]}]
# 创建一个 DataFrame，其中包含一个名为 "column_dic" 的列
df = pd.DataFrame({"column_dic": [data]})
df['count_first_item'] = (df['column_dic'].explode().str.get('list_A').str[0]
.groupby(level=0).count())
print(df)这段代码首先使用 explode() 函数将 column_dic 列中的列表展开，将每个字典变成单独的行。然后，使用 str.get('list_A') 获取每个字典中的 'list_A' 列表。接着，使用 str[0] 获取每个列表的第一个元素。最后，使用 groupby(level=0) 按照原始 DataFrame 的索引进行分组，并使用 count() 函数统计每个分组中非空值的数量。
总结
本文介绍了两种使用 Pandas 统计 DataFrame 字典列中列表首个元素的非空值数量的方法。第一种方法使用列表推导式和 notna 函数，代码简洁易懂。第二种方法使用 explode、str.get 和 groupby 函数，更加灵活，可以处理更复杂的数据结构。在实际应用中，可以根据具体情况选择合适的方法。需要注意的是，在使用 explode 函数时，要确保列表中的元素类型一致，否则可能会出现错误。
