TensorFlow -层间不同的位宽量化

Question

TensorFlow是否支持层间不同的位宽量化，还是必须在整个模型中执行相同的技术？

例如，假设我在16-bit层执行n量化。我能在8-bit层执行n+1量化吗？

Answer 1

不，到目前为止，还没有为模型的不同层定义不同dtype的选项。

根据文档 of tf.keras.layers.Layer。这是所有层继承的类。

D类型-层的计算和权重的d类型(默认情况下不使用tf.keras.backend.floatx在TensorFlow 2中，或者在TensorFlow 1中使用第一个输入的类型)。