在训练过程中，Tensorflow量化感知训练是否会导致实际的加速？

Question

我们正在考虑将量化感知训练用于一个研究项目，以确定训练期间量化对收敛速度和运行时间的影响。尽管我们还不完全相信这是正确的工具。请您澄清以下几点: 1)如果一个层在量化感知训练期间被量化，这意味着输入和权重被量化，包括激活函数在内的所有操作都被量化，然后在返回之前，输出被反量化到与下一层兼容的精度。这种理解正确吗? 2) Tensorboard profiler兼容性? 3)原则上，量化感知训练是否会在您的一般经验的训练过程中导致加速，或者这是不可能的，因为它只是一个模拟? 4)您能告诉我们如何向tensorflow s.t添加自定义量化器和数据类型的资源吗？它们兼容GPU吗？

非常感谢您的帮助！

Answer 1

在做了一些研究之后，QAT并没有加快训练速度，而只是为训练后量化准备模型。然而，MuPPET实际上是一种通过量化来加速训练的算法。