论文链接：https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/2009.13044.pdf
代码地址：https://link.zhihu.com/?target=https%3A//github.com/huawei-noah/AdderNet
研究背景
深度卷积神经网络（CNN）被广泛应用于诸多计算机视觉领域的实际任务中（例如，图片分类、物体检测、语义分割等）。然而，为了保证性能，神经网络通常是过参数化的，因此会存在大量的冗余参数。近期提出的加法神经网络（ANN），通过将卷积操作中的距离度量函数替换为L1距离，极大减少了神经网络中的乘法操作，从而减少了网络运行所需的功耗和芯片面积。
然而，ANN在准确率方面和同结构的CNN相比仍然有一定差距，在某种程度上限制了ANN在实际应用中对CNN的替换。为了提高ANN的性能，我们提出了一种基于核的渐进蒸馏方法。具体的，我们发现一个训练好的ANN网络其参数通常服从拉普拉斯分布，而一个训练好的CNN网络其参数通常服从高斯分布。因此，我们对网络中间层的特征图输出进行核变换后，使用距离度量函数估计教师网络（CNN）和学生网络（ANN）之间的损失。对于最后一层，我们使用传统的KL散度估计两个网络之间的损失。同时，在训练中我们使用随机初始化的教师网络，与学生网络同时训练，以减少两个网络之间参数分布的差异性。
实验表明，我们的算法得到的ANN能够在CIFAR-10，CIFAR-100，ImageNet等标准图片分类数据集上达到或超越同结构CNN的准确率。
对网络中间层特征图输出进行核变换
ANN本身精度不好的原因是原始ANN在反向传播时，使用的是近似的梯度，导致目标函数无法向着最小的方向移动。传统KD方法应用到ANN上效果不佳的原因，在于ANN的权重分布是拉普拉斯分布，而CNN的权重分布为高斯分布，因此分布不同导致无法直接对中间层的feature map使用KD方法。本方法首先将核变换作用于教师网络和学生网络的中间层输出，并使用1x1卷积对新的输出进行配准。之后，结合最后一层的蒸馏损失与分类损失，得到整体的损失函数。
除了上述中间层的loss之外，我们还希望ANN学习CNN最后一层的输出，以及ANN关于目标任务的loss（这里以分类任务举例）。
对于ANN的最后一层，在分类任务上输出的是每一个类别的概率分布，因此希望它同时学习CNN的概率分布，以及ground-truth的概率分布（ground-truth为one-hot vector），因此构造的loss function为：
渐进式蒸馏算法
传统的蒸馏方法使用固定的，训练好的教师网络来教学生网络。这样做会带来问题。由于教师网络和学生网络处于不同的训练阶段，因此他们的分布会因为训练阶段的不同而不同，所以会导致KD方法效果不好。因此我们采用渐进式蒸馏方法，让教师网络和学生网络共同学习，有助于KD方法得到好的结果。即目标函数变为：
其中b为当前的step。
实验结果
我们在CIFAR-10、CIFAR-100、ImageNet三个数据集上分别进行了实验。
下表是在CIFAR-10和CIFAR-100数据集上的结果，我们使用了VGG-small、ResNet-20与ResNet-32作为教师网络，同结构的ANN作为学生网络。可以看到，使用了本方法得到的ANN在分类准确率上相比原始的ANN有大幅度的提升，并且能够超过同结构的CNN模型。表格中#Mul表示网络中乘法操作的次数。#Add表示加法操作次数，#XNOR表示同或操作的次数。
下表展示了在ImageNet数据集上的结果，我们使用ResNet-18与ResNet-50网络作为教师网络，同结构的ANN作为学生网络。结果显示我们的方法得到的ANN在分类准确率上相比同结构CNN基本相同或能够超越。
最后，我们展示了ResNet-20，ANN-20与通过本方法得到的PKKD ANN-20模型在CIFAR-10与CIFAR-100数据集上的训练精度曲线与测试精度曲线。
作者：王云鹤
链接：https://zhuanlan.zhihu.com/p/322108981
