python实现信息熵的计算代码-Python教程-PHP中文网

python实现信息熵的计算代码

舞夢輝影

发布： 2025-11-21 23:25:02

原创

260人浏览过

信息熵是衡量数据不确定性的指标，计算公式为H(X) = -Σ p(x) * log₂(p(x))，可通过Python实现。使用NumPy统计类别频次并计算概率，再求和得到熵值；需处理p=0时的边界情况，避免log(0)错误。代码适用于二分类、多分类及文本标签，如['猫', '狗', '鸟']等离散数据，传入标签列表即可快速计算信息熵。

python实现信息熵的计算代码

信息熵是衡量数据不确定性的指标，常用于决策树、机器学习等领域。在Python中，可以通过NumPy或数学公式直接实现信息熵的计算。

什么是信息熵

信息熵（Shannon Entropy）的公式为：

H(X) = -Σ p(x) * log₂(p(x))

其中 p(x) 是某个类别出现的概率。

立即学习“Python免费学习笔记（深入）”；

ASP.NET 4.0电子商城

在现实生活中的购物过程，购物者需要先到商场，找到指定的产品柜台下，查看产品实体以及标价信息，如果产品合适，就将该产品放到购物车中，到收款处付款结算。电子商务网站通过虚拟网页的形式在计算机上摸拟了整个过程，首先电子商务设计人员将产品信息分类显示在网页上，用户查看网页上的产品信息，当用户看到了中意的产品后，可以将该产品添加到购物车，最后使用网上支付工具进行结算，而货物将由公司通过快递等方式发送给购物者

查看详情

使用Python计算信息熵

以下是基于列表或数组计算信息熵的完整代码示例：

import numpy as np

def calculate_entropy(labels):
    # 统计每个类别的频次
    _, counts = np.unique(labels, return_counts=True)

    # 计算概率
    probabilities = counts / len(labels)

    # 计算信息熵
    entropy = -np.sum(probabilities * np.log2(probabilities))

    return entropy

# 示例数据：分类标签
labels = [1, 1, 0, 0, 0, 1, 1, 0]

# 计算信息熵
entropy = calculate_entropy(labels)
print(f"信息熵: {entropy:.4f}")

登录后复制

处理边界情况

当某个类别概率为0时，0*log(0) 在数学上是0，但计算机可能报错。虽然 np.log2 遇到0会返回-inf，乘以0后为nan，因此可以加一点小技巧避免问题：

def calculate_entropy_safe(labels):
    _, counts = np.unique(labels, return_counts=True)
    probabilities = counts / len(labels)

    # 忽略概率为0的情况
    entropy = -np.sum([p * np.log2(p) for p in probabilities if p > 0])

    return entropy

登录后复制

适用于文本或离散数据

该方法不仅适用于二分类，也适用于多分类或文本标签：

```python # 多分类示例 labels_str = ['猫', '狗', '狗', '鸟', '猫', '鸟', '鸟'] entropy_str = calculate_entropy_safe(labels_str) print(f"文本标签的信息熵: {entropy_str:.4f}") ```

基本上就这些。只要传入一组离散标签，就能快速算出信息熵。

以上就是python实现信息熵的计算代码的详细内容，更多请关注php中文网其它相关文章！