1. 引言与问题背景
在数据分析和自然语言处理中，我们经常需要根据文本内容对其进行分类或打标签。一个常见的场景是，给定一组预定义的关键词类别（如“水果”、“动物”、“国家”），我们需要分析文本数据中哪些类别出现的频率最高，并以此来标记该文本。例如，如果一段话中“苹果”、“香蕉”出现的次数远多于“狗”、“猫”，那么这段话很可能属于“水果”类别。
本教程旨在解决以下问题：如何为Pandas DataFrame中的文本列，基于关键词的出现概率，自动生成一个代表最高概率类别的标签列。概率的计算方式为：某个类别中关键词的总出现次数除以该行文本的总词数。
2. 核心概念与方法
要实现上述目标，我们需要掌握以下几个核心概念和技术：
- 关键词类别定义: 将不同类别的关键词组织起来，方便查询和管理。
- 文本预处理: 对原始文本进行标准化处理，例如转换为小写、提取独立单词。
- 词频统计: 高效地统计文本中每个单词的出现频率。
- 概率计算: 根据预设公式计算每个关键词类别的概率。
- 标签判定: 找出概率最高的类别作为最终标签，并处理无匹配情况。
3. 实现步骤与代码示例
我们将通过一个具体的Pandas DataFrame示例来演示整个实现过程。
3.1 准备工作：导入库与模拟数据
首先，导入必要的Python库，并创建一个示例DataFrame。
import pandas as pd
import re
from collections import Counter
# 模拟DataFrame数据
data = {
'content': [
'My favorite fruit is mango. I like lichies too. I live in au. Cows are domistic animals.',
'I own RTX 4090...',
'There is political colfict between us and ca.',
'au, br mango, lichi apple,.... \n cat, cow, monkey donkey dogs'
]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)
print("-" * 30)3.2 定义关键词类别
我们将关键词列表组织成一个字典，键为类别名称，值为该类别下的关键词列表。
labels = {
'fruits': ['mango', 'apple', 'lichi'],
'animals': ['dog', 'cat', 'cow', 'monkey'],
'country': ['us', 'ca', 'au', 'br'],
}
print("定义的关键词类别:")
for k, v in labels.items():
print(f" {k}: {v}")
print("-" * 30)3.3 实现概率计算函数
这是核心逻辑部分。我们将创建一个名为calculate_probability的函数，它接受一个文本字符串和关键词类别字典作为输入，返回概率最高的类别标签。
def calculate_probability(text, labels_dict):
"""
计算给定文本中各关键词类别的概率，并返回概率最高的类别标签。
Args:
text (str): 输入的文本字符串。
labels_dict (dict): 包含关键词类别的字典，键为类别名，值为关键词列表。
Returns:
str: 概率最高的类别标签，如果所有概率均为0则返回 'NaN'。
"""
# 1. 文本预处理：提取单词并转换为小写
# re.findall(r'\b\w+\b', ...) 匹配所有独立的单词（字母数字下划线），
# \b 是单词边界，确保 'apples' 不会匹配 'apple'，而是提取 'apples' 作为一个完整的词。
words = re.findall(r'\b\w+\b', str(text).lower())
word_count = len(words)
# 如果文本为空或没有提取到单词，则无法计算概率
if word_count == 0:
return 'NaN'
# 2. 词频统计：使用 collections.Counter 高效统计单词出现次数
counts = Counter(words)
# 3. 计算每个类别的概率
probs = {}
for category, keywords in labels_dict.items():
# 统计当前类别所有关键词在文本中的总出现次数
category_keyword_count = sum(counts[word] for word in keywords)
# 计算概率
probs[category] = category_keyword_count / word_count
# 4. 找出概率最高的类别
# 使用 max 函数配合 key 参数，找到字典中值最大的键
max_label = max(probs, key=probs.get)
# 5. 返回结果：如果最高概率大于0，则返回标签，否则返回 'NaN'
return max_label if probs[max_label] > 0 else 'NaN'3.4 应用函数到DataFrame
最后，使用Pandas的apply方法将上述函数应用到DataFrame的content列，生成新的label列。
# 应用函数到 'content' 列
# 注意：apply 函数默认会将 Series 的每个元素作为第一个参数传递给函数。
# 额外的参数（如 labels_dict）可以通过关键字参数传递。
df['label'] = df['content'].apply(calculate_probability, labels_dict=labels)
print("处理后的DataFrame:")
print(df)输出结果:
原始DataFrame:
content
0 My favorite fruit is mango. I like lichies too...
1 I own RTX 4090...
2 There is political colfict between us and ca.
3 au, br mango, lichi apple,.... \n cat, cow, mo...
------------------------------
定义的关键词类别:
fruits: ['mango', 'apple', 'lichi']
animals: ['dog', 'cat', 'cow', 'monkey']
country: ['us', 'ca', 'au', 'br']
------------------------------
处理后的DataFrame:
content label
0 My favorite fruit is mango. I like lichies too... fruits
1 I own RTX 4090... NaN
2 There is political colfict between us and ca. country
3 au, br mango, lichi apple,.... \n cat, cow, mo... animals解释:
- 第一行: "mango" (fruits) 出现1次, "lichi" (fruits) 出现1次, "au" (country) 出现1次, "cows" (animals) 出现1次。总词数17。P(fruits) = 2/17, P(country) = 1/17, P(animals) = 1/17。最高概率为 fruits。
- 第二行: 未匹配任何关键词。返回 NaN。
- 第三行: "us" (country) 出现1次, "ca" (country) 出现1次。总词数8。P(country) = 2/8。最高概率为 country。
- 第四行: "au" (country) 出现1次, "br" (country) 出现1次, "mango" (fruits) 出现1次, "lichi" (fruits) 出现1次, "apple" (fruits) 出现1次, "cat" (animals) 出现1次, "cow" (animals) 出现1次, "monkey" (animals) 1次, "dogs" (animals) 1次。总词数10。P(fruits) = 3/10, P(animals) = 4/10, P(country) = 2/10。最高概率为 animals。
4. 注意事项与优化
- 函数参数传递: 在使用 df.apply() 时，如果自定义函数需要额外的固定参数（如本例中的 labels_dict），应通过关键字参数传递给 apply。例如 df['col'].apply(my_func, arg1=value1)。错误的做法是尝试在函数内部直接访问全局变量，或者对 Series 应用时使用 axis=1 (这会将整行作为DataFrame传递，而不是Series元素)。
- 词形变化处理: 当前方案通过 re.findall(r'\b\w+\b', ...) 提取独立单词，然后进行精确匹配。这意味着，如果关键词是'lichi'，而文本中出现的是'lichies'，则不会被计数。若需处理此类词形变化（例如，'run'、'running'、'ran'都算作'run'），可以考虑引入词干提取（stemming）或词形还原（lemmatization）技术，例如使用NLTK或SpaCy库对文本和关键词进行预处理。
- 性能优化: collections.Counter 在统计词频方面效率很高。对于极大规模的文本数据，若处理速度仍是瓶颈，可以考虑并行处理，或使用更专业的文本处理库（如spaCy）其内置的词法分析器通常更为高效。
- 关键词定义: 关键词列表的质量直接影响分类的准确性。应确保关键词具有代表性，并且涵盖目标类别的核心概念。
- 处理特殊字符与停用词: re.findall(r'\b\w+\b', ...) 已经能较好地处理大部分标点符号。但如果文本中包含大量无意义的停用词（如“的”、“是”、“在”等），可能会稀释关键词的概率。在某些场景下，可以考虑在词频统计前移除停用词。
- 概率相等时的处理: 如果
