在处理非结构化文本数据时，经常需要根据文本内容将其归类到预定义的类别中。一个常见的方法是识别文本中特定关键词的出现频率，并以此作为判断其类别倾向的依据。本教程将指导您完成一个实用的文本分类任务：给定一个包含文本内容的pandas dataframe列和一组按类别划分的关键词列表，计算每行文本中每个关键词类别的“概率”，并最终为每行分配概率最高的类别标签。
核心概念与方法
要实现上述目标，我们需要掌握以下几个核心概念和方法：
- 关键词组定义与管理: 将不同类别的关键词组织成一个易于访问和迭代的结构，例如Python字典。
- 文本预处理与分词: 对原始文本进行标准化处理，如转换为小写，并将其拆分成独立的单词（分词），以便进行准确的匹配和计数。
- 词频统计: 高效地统计分词后文本中每个单词的出现频率，这是计算概率的基础。
- 类别概率计算: 根据预定义的关键词列表和文本中的词频，计算每个类别的“概率”。这里的概率定义为：特定类别关键词总数 / 文本总词数。
- 最高概率类别选择: 比较所有类别的概率，选出最高者作为最终标签。如果所有类别概率均为零，则返回一个默认值（如NaN）。
- Pandas apply 函数的正确使用: 将自定义的分类逻辑高效地应用到DataFrame的每一行或每一列。
实现步骤与代码示例
我们将通过一个具体的例子来演示上述过程。假设我们有一个包含“内容（content）”列的DataFrame，并且我们希望根据其中出现的“水果”、“动物”或“国家”关键词来打标签。
首先，导入必要的库并定义我们的关键词类别。
import re
import pandas as pd
from collections import Counter
# 定义关键词类别及其对应的关键词列表
labels = {
'fruits': ['mango', 'apple', 'lichi'],
'animals': ['dog', 'cat', 'cow', 'monkey'],
'country': ['us', 'ca', 'au', 'br'],
}
# 示例DataFrame
data = {
'content': [
'My favorite fruit is mango. I like lichies too. I live in au. Cows are domestic animals.',
'I own RTX 4090...',
'There is political conflict between us and ca.',
'au, br mango, lichi apple,.... \n cat, cow, monkey donkey dogs'
]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)接下来，我们编写核心函数 calculate_probability，它将负责对单行文本进行处理并返回最高概率的标签。
def calculate_probability(text, labels_dict):
"""
计算给定文本中各关键词类别的概率，并返回最高概率的类别标签。
参数:
text (str): 输入的文本字符串。
labels_dict (dict): 包含关键词类别的字典，键为类别名称，值为关键词列表。
返回:
str: 概率最高的类别标签，如果所有类别概率为0则返回 'NaN'。
"""
# 1. 文本预处理与分词：转换为小写并提取所有单词
words = re.findall(r'\b\w+\b', text.lower())
word_count = len(words)
# 如果文本为空或没有单词，则无法计算概率
if word_count == 0:
return 'NaN'
# 2. 词频统计：使用Counter高效统计单词频率
counts = Counter(words)
# 3. 类别概率计算：遍历每个类别，累加关键词词频
probs = {}
for k, l_list in labels_dict.items():
# 对于每个类别，统计其关键词在文本中出现的总次数
# 注意：这里是精确匹配分词后的单词。
category_keyword_count = sum(counts[w] for w in l_list)
probs[k] = category_keyword_count / word_count
# 4. 最高概率类别选择
# 找出概率最高的类别名称
max_label = max(probs, key=probs.get)
# 如果最高概率大于0，则返回该标签；否则返回'NaN'
return max_label if probs[max_label] > 0 else 'NaN'
# 将函数应用到DataFrame的 'content' 列
# 注意：当对Series应用函数时，函数应接收Series的单个元素作为输入。
# 额外的参数 (labels_dict) 通过关键字参数传递给apply。
df['label'] = df['content'].apply(calculate_probability, labels_dict=labels)
print("\n处理后的DataFrame:")
print(df)代码解析
-
re.findall(r'\b\w+\b', text.lower()):
- text.lower(): 将所有文本转换为小写，确保大小写不敏感的匹配。
- r'\b\w+\b': 这是一个正则表达式模式。
- \b：匹配单词边界，确保只匹配完整的单词。
- \w+：匹配一个或多个字母、数字或下划线字符。
- re.findall()：查找所有不重叠的匹配项，并以列表形式返回。这有效地将文本分词为独立的单词。
-
collections.Counter(words):
-
probs = {} ... for k, l_list in labels_dict.items(): ... sum(counts[w] for w in l_list) ...:
- 这个循环遍历 labels_dict 中的每个类别（例如 'fruits', 'animals'）。
- 对于每个类别 k，它获取其对应的关键词列表 l_list。
- sum(counts[w] for w in l_list)：这是一个生成器表达式，它遍历 l_list 中的每个关键词 w，然后从 counts （词频统计结果）中获取 w 的出现次数。如果 w 不在 counts 中，counts[w] 会返回 0。所有这些计数被累加，得到该类别关键词在文本中的总出现次数。
- 最后，将总出现次数除以 word_count
