Entropix：最大化推理性能的采样技术

花韻仙語

发布时间：2024-10-14 22:36:20

1192人浏览过

来源于dev.to

转载

entropix：最大化推理性能的采样技术

根据 entropix readme，entropix 使用基于熵的采样方法。本文讲解了基于熵和变熵的具体采样技术。

熵和变熵

让我们首先解释一下熵和变熵，因为它们是决定采样策略的关键因素。

熵

在信息论中，熵是随机变量不确定性的度量。随机变量 x 的熵由以下等式定义：

Entropix：最大化推理性能的采样技术

x：离散随机变量。
x_i：x 的第 i 个可能状态。
p(x_i)：状态 x_i 的概率。

当概率分布均匀时，熵最大化。相反，当特定状态比其他状态更有可能出现时，熵就会减少。

变熵

变熵与熵密切相关，代表信息内容的可变性。考虑到随机变量 x 的信息内容 i(x)、熵 h(x) 和方差，变熵 v e(x) 定义如下：

Entropix：最大化推理性能的采样技术

当概率 p(x_i) 变化很大时，变熵变大。当概率均匀时（无论是当分布具有最大熵时，还是当一个值的概率为 1 而所有其他值的概率为 0 时），它会变小。

抽样方法

接下来，让我们探讨一下采样策略如何根据熵和变熵值而变化。

Entropix：最大化推理性能的采样技术

1. 低熵、低变熵 → argmax

在这种情况下，特定令牌的预测概率比其他令牌高得多。由于下一个标记几乎确定，因此使用 argmax。

if ent < 0.1 and vent < 0.1:
    return torch.argmax(logits[:, -1], dim=-1, keepdim=true).to(torch.int32)

代码链接

Ke361开源淘宝客系统

Ke361是一个开源的淘宝客系统，基于最新的ThinkPHP3.2版本开发，提供更方便、更安全的WEB应用开发体验，采用了全新的架构设计和命名空间机制，融合了模块化、驱动化和插件化的设计理念于一体，以帮助想做淘宝客而技术水平不高的朋友。突破了传统淘宝客程序对自动采集商品收费的模式，该程序的自动采集模块对于所有人开放，代码不加密，方便大家修改。集成淘点金组件，自动转换淘宝链接为淘宝客推广链接。K

下载

2. 低熵、高变熵 → 分支

当有一定的信心，但存在多种可行的选择时，就会发生这种情况。在这种情况下，分支策略用于从多个选择中进行采样并选择最佳结果。

elif ent < 5.0 and vent > 5.0:
    temp_adj = 1.2 + 0.3 * interaction_strength
    top_k_adj = max(5, int(top_k * (1 + 0.5 * (1 - agreement))))
    return _sample(logits, temperature=min(1.5, temperature * temp_adj), top_p=top_p, top_k=top_k_adj, min_p=min_p, generator=generator)

代码链接

虽然这个策略被称为“分支”，但当前的代码似乎是调整采样范围并选择单个路径。（如果有人有更多见解，我们将不胜感激。）

3. 高熵、低变熵 → cot 或插入暂停令牌

当下一个标记的预测概率相当均匀时，表明下一个上下文不确定，则插入一个澄清标记来解决歧义。

elif ent > 3.0 and vent < 0.1:
    if not torch.isin(gen_tokens[:,-1], torch.tensor([2564], device=device)).any():
        return torch.tensor([[2564]], dtype=torch.int32, device=device)
    else:
        temp_adj = 1.3 + 0.2 * attn_ent
        return _sample(logits, temperature=min(1.5, temperature * temp_adj), top_p=top_p, top_k=top_k, min_p=min_p, generator=generator)

代码链接

4. 高熵、高变熵 → 重采样

在这种情况下，存在多个上下文，并且下一个标记的预测概率较低。 重采样策略使用更高的温度设置和更低的top-p。

elif ent > 5.0 and vent > 5.0:
    temp_adj = 2.0 + 0.5 * attn_vent
    top_p_adj = max(0.5, top_p - 0.2 * attn_ent)
    return _sample(logits, temperature=max(2.0, temperature * temp_adj), top_p=top_p_adj, top_k=top_k, min_p=min_p, generator=generator)

代码链接

中级案例

如果以上条件均不满足，则执行自适应采样。采取多个样本，根据熵、变熵和注意力信息计算最佳采样分数。

else:
    return adaptive_sample(
        logits,
        metrics,
        gen_tokens,
        n_samples=5,
        base_temp=temperature,
        base_top_p=top_p,
        base_top_k=top_k,
        generator=generator
    )

代码链接