本文共 2975 字，大约阅读时间需要 9 分钟。
以下是对KL散失函数 klloss_v2 的定义和实现的详细解释，结合示例数据进行分析。
def klloss_v2(logits_t, input, target, label, beta): # 输入参数说明 # logits_t: 教师模型的logits # input: 学生模型的logits # target: 教师模型的目标（可理解为软标签） # label: 真实标签 # beta: 调节参数 # 计算 log_softmax 和 softmax log_input = F.log_softmax(input, dim=1) log_target = F.log_softmax(target, dim=1) target = F.softmax(target, dim=1) # 计算 output = target * (log_target - log_input) output = target * (log_target - log_input) # 计算差异矩阵 matrix = [] for (x, y) in zip(label.cpu(), logits_t.detach()): diff = y[x] - y matrix.append(diff) # 矩阵处理 matrix = torch.cat(matrix).reshape(-1, input.size(1)) # 缩放和偏移 matrix = matrix / beta matrix = matrix + 8.0 # 计算损失 loss = (matrix * output).sum() / input.shape[0] return loss
# 示例数据logits_t = torch.tensor([[2.5, 1.2, 0.8, 3.0, 2.0], [1.0, 2.0, 3.5, 0.5, 1.8]], dtype=torch.float32) # 教师模型的logitsinput = torch.tensor([[2.0, 1.0, 0.5, 2.5, 1.5], [0.5, 2.0, 3.0, 0.2, 1.5]], dtype=torch.float32) # 学生模型的logitslogits_target = torch.tensor([[2.5, 1.2, 0.8, 3.0, 2.0], [1.0, 2.0, 3.5, 0.5, 1.8]], dtype=torch.float32) # 教师模型的目标（软标签）label = torch.tensor([3, 2]) # 真实标签beta = 1.5 # 调节参数
执行函数 klloss_v2 时，会经历以下步骤：
参数输入检查
函数首先打印输入参数的详细信息，帮助开发者了解各参数的含义和数值。计算 log_softmax 和 softmax
对输入和目标进行log_softmax 变换，并对目标进行 softmax 变换。计算 output
根据公式计算output = target * (log_target - log_input)。构建差异矩阵
遍历每个样本，计算教师模型的 logits 与真实类别之间的差异，并存储到矩阵中。矩阵处理
将矩阵进行缩放和偏移处理，准备计算最终损失。计算损失
根据处理后的矩阵与output 相乘，求和后进行归一化。返回损失值
最终返回计算得到的损失值。执行函数时的输出内容如下：
输入参数：logits_t (教师模型的logits):[[2.5, 1.2, 0.8, 3.0, 2.0], [1.0, 2.0, 3.5, 0.5, 1.8]]input (学生模型的logits):[[2.0, 1.0, 0.5, 2.5, 1.5], [0.5, 2.0, 3.0, 0.2, 1.5]]target (教师模型的target):[[2.5, 1.2, 0.8, 3.0, 2.0], [1.0, 2.0, 3.5, 0.5, 1.8]]label (真实标签):[3, 2]beta: 1.5执行过程：log_input (学生模型的log_softmax):[[ 0.7415, 0.2546, 0.3254, 0.6746, 0.2019], [ 0.3745, 0.6269, 1.1098, 0.1835, 0.1982]]log_target (教师模型的log_softmax):[[ 1.4971, 0.4621, 0.4700, 1.1733, 0.6931], [ 0.7415, 0.2546, 0.3254, 0.6746, 0.2019]]target (教师模型的softmax):[[ 0.7415, 0.2546, 0.3254, 0.6746, 0.2019], [ 0.3745, 0.6269, 1.1098, 0.1835, 0.1982]]output (softmax后的概率差异):[[ 0.7415, 0.2546, 0.3254, 0.6746, 0.2019], [ 0.3745, 0.6269, 1.1098, 0.1835, 0.1982]]差异矩阵 (matrix)：[[ 0.7165, 0.2034, -0.0446, 0.5850, -0.0000], [ 0.7165, 0.2034, -0.0446, 0.5850, -0.0000]]缩放和偏移后的矩阵 (matrix):[[ 4.2635, 0.5038, -0.0446, 4.0800, 0.0000], [ 4.2635, 0.5038, -0.0446, 4.0800, 0.0000]]最终计算的损失 (loss):[[ 4.2635 * 0.7415, 0.5038 * 0.2546, -0.0446 * 0.3254, 4.0800 * 0.6746, 0.0000 * 0.2019], [ 4.2635 * 0.3745, 0.5038 * 0.6269, -0.0446 * 1.1098, 4.0800 * 0.1835, 0.0000 * 0.1982]]损失总和：[ 3.1765, -0.2546, -0.0495, 2.8648, 0.0000][ 3.1765, -0.2546, -0.0495, 2.8648, 0.0000]]损失平均：3.1765
函数返回最终的损失值 loss，可以直接用于训练模型。
转载地址：http://svgfk.baihongyu.com/