面向硬件性能的神经网络规模调整

面向硬件性能的神经网络规模调整

一种确定卷积神经网络“通道配置”的新方法，在保持运行效率的同时提高了精度。

在计算机视觉任务中，为卷积神经网络（CNN）的每一层确定最优的通道数是一项挑战。传统的神经架构搜索方法通常先训练一个包含大量通道的网络，然后逐层贪婪地剪枝掉对精度影响不大的通道。然而，这种方法可能导致次优的网络配置。

在IEEE计算机视觉与模式识别会议（CVPR）上，研究人员提出了一种新的方法。该方法在训练过程中同时优化网络所有层的通道数，从而在每层的计算量与最终精度之间实现更好的平衡。

核心方法：

1. 随机变异：在训练初期，对于每个训练样本，随机改变网络某一层的通道宽度（从原始值的20%到150%）。这允许网络探索通道宽度在不同层之间相互依赖的可能性。
2. 经验延迟估计：为了在不实际测量每层延迟的情况下进行全局优化，研究人员采用经验分析法。通过在不同通道配置下反复运行相同数据，并求解由此产生的线性方程组，可以非常准确地估算出不同网络层在各种通道宽度下的延迟。这些估算值被存入一个表中，以便在训练期间高效查找。
3. 马尔可夫随机场优化：利用马尔可夫随机场这一标准统计模型，来建模在网络连续层中组合不同通道宽度所产生的效果。基于精度损失测量和延迟估算，求解出在给定延迟约束下能产生最佳性能的通道宽度组合。

实验以MobileNet (v1)为基础网络进行。结果表明，与使用贪婪通道宽度搜索的基线方法相比，该方法在相同延迟下实现了4%的相对精度提升。此外，通过逐步缩小模型可探索的配置范围，精度又获得了1%的相对提升。

该方法的核心优势在于能够更早地在训练过程中确定通道宽度，使每个通道的设置更好地适应最终的通道配置，并捕获所有网络层之间通道宽度的相互依赖关系。

| 研究领域 | 机器学习、计算机视觉

| 关键词 | 人工智能（AI）、卷积神经网络（CNN）、CVPR

| 会议 | CVPR 2020

| 相关论文 | AOWS: 基于延迟约束的自适应与最优网络宽度搜索FINISHED