本文共 3047 字，大约阅读时间需要 10 分钟。

代码解释与示例分析

以下是对KL散失函数 klloss_v2 的定义和实现的详细解释，结合示例数据进行分析。

函数定义

def klloss_v2(logits_t, input, target, label, beta):
    # 输入参数说明
    # logits_t: 教师模型的logits
    # input: 学生模型的logits
    # target: 教师模型的目标（可理解为软标签）
    # label: 真实标签
    # beta: 调节参数
    # 计算 log_softmax 和 softmax
    log_input = F.log_softmax(input, dim=1)
    log_target = F.log_softmax(target, dim=1)
    target = F.softmax(target, dim=1)
    # 计算 output = target * (log_target - log_input)
    output = target * (log_target - log_input)
    # 计算差异矩阵
    matrix = []
    for (x, y) in zip(label.cpu(), logits_t.detach()):
        diff = y[x] - y
        matrix.append(diff)
    # 矩阵处理
    matrix = torch.cat(matrix).reshape(-1, input.size(1))
    # 缩放和偏移
    matrix = matrix / beta
    matrix = matrix + 8.0
    # 计算损失
    loss = (matrix * output).sum() / input.shape[0]
    return loss

示例数据分析

# 示例数据
logits_t = torch.tensor([[2.5, 1.2, 0.8, 3.0, 2.0],
                        [1.0, 2.0, 3.5, 0.5, 1.8]], dtype=torch.float32)  # 教师模型的logits
input = torch.tensor([[2.0, 1.0, 0.5, 2.5, 1.5],
                    [0.5, 2.0, 3.0, 0.2, 1.5]], dtype=torch.float32)  # 学生模型的logits
logits_target = torch.tensor([[2.5, 1.2, 0.8, 3.0, 2.0],
                            [1.0, 2.0, 3.5, 0.5, 1.8]], dtype=torch.float32)  # 教师模型的目标（软标签）
label = torch.tensor([3, 2])  # 真实标签
beta = 1.5  # 调节参数

函数执行过程解析

执行函数 klloss_v2 时，会经历以下步骤：

示例输出分析

执行函数时的输出内容如下：

输入参数：
logits_t (教师模型的logits):
[[2.5, 1.2, 0.8, 3.0, 2.0],
 [1.0, 2.0, 3.5, 0.5, 1.8]]
input (学生模型的logits):
[[2.0, 1.0, 0.5, 2.5, 1.5],
 [0.5, 2.0, 3.0, 0.2, 1.5]]
target (教师模型的target):
[[2.5, 1.2, 0.8, 3.0, 2.0],
 [1.0, 2.0, 3.5, 0.5, 1.8]]
label (真实标签):
[3, 2]
beta: 1.5
执行过程：
log_input (学生模型的log_softmax):
[[ 0.7415,  0.2546,  0.3254,  0.6746,  0.2019],
 [ 0.3745,  0.6269,  1.1098,  0.1835,  0.1982]]
log_target (教师模型的log_softmax):
[[ 1.4971,  0.4621,  0.4700,  1.1733,  0.6931],
 [ 0.7415,  0.2546,  0.3254,  0.6746,  0.2019]]
target (教师模型的softmax):
[[ 0.7415,  0.2546,  0.3254,  0.6746,  0.2019],
 [ 0.3745,  0.6269,  1.1098,  0.1835,  0.1982]]
output (softmax后的概率差异):
[[ 0.7415,  0.2546,  0.3254,  0.6746,  0.2019],
 [ 0.3745,  0.6269,  1.1098,  0.1835,  0.1982]]
差异矩阵 (matrix)：
[[ 0.7165,  0.2034, -0.0446,  0.5850, -0.0000],
 [ 0.7165,  0.2034, -0.0446,  0.5850, -0.0000]]
缩放和偏移后的矩阵 (matrix):
[[ 4.2635,  0.5038, -0.0446,  4.0800,  0.0000],
 [ 4.2635,  0.5038, -0.0446,  4.0800,  0.0000]]
最终计算的损失 (loss):
[[ 4.2635 * 0.7415,  0.5038 * 0.2546, -0.0446 * 0.3254,  4.0800 * 0.6746,  0.0000 * 0.2019],
 [ 4.2635 * 0.3745,  0.5038 * 0.6269, -0.0446 * 1.1098,  4.0800 * 0.1835,  0.0000 * 0.1982]]
损失总和：
[ 3.1765, -0.2546, -0.0495,  2.8648,  0.0000]
[ 3.1765, -0.2546, -0.0495,  2.8648,  0.0000]]
损失平均：
3.1765

函数返回值

函数返回最终的损失值 loss，可以直接用于训练模型。

转载地址：http://svgfk.baihongyu.com/