回答情况：
提问时间：
问题标签：
1回答
受到“Transformer神经机器语言翻译模型的高效8位量化”的启发，我决定遵循这篇论文的警告。然而，我对在量化过程中设置偏移量变量感到困惑。
浏览 12修改于2021-10-23得票数 0
我尝试在FloatingPoint32bit矩阵乘法之前应用INT8bit量化，然后将累积的INT32bit输出重新量化为INT8bit。毕竟，我猜在这个过程中有几个地方搞错了。数据流仿射量化input(fp32) -> quant(int8) -/INPUT(FP32)
浏览 8修改于2021-10-18得票数 0
**大家好，我最近把tensorflow浮子模型转换成了tflite量化的INT8模型，最后我得到了模型，没有错误。我想在python中使用这个模型进行推论，但是我不能得到好的结果。zero_point)* scale
print(tflite_output)，你能告诉我如何用这个量化的模型(输入和输出转换成INT8)来预测一个类，并且有正确的概率值吗？
浏览 3提问于2021-03-23得票数 0
我试图通过ONNX (opset 11)将torch.nn.functional.grid_sample的模型从Pytorch (1.9)转换为使用INT8量化的INT8 (7)。有了它，转换到TensorRT (有和没有INT8量化)是成功的。没有INT8量化的Pytorch和TRT模型提供的结果接近相同的结果(MSE为e-10阶)。在这种情况下，TensorRT结果与不带INT8量化的结果是相同的。这样的量化不是
浏览 2修改于2021-09-22得票数 0
但是我试着用dtype = 'int8‘在相同的声音水平上说话，我的情节是零线。一种想法是，可能8位的量化器有一个更大的死区，所以对于相同的输入语音级别，量化器会降低0的值。当然，我为量化器的类型做了一个假设。我还没有看到量化器是否是均匀的死区。
浏览 25修改于2021-12-07得票数 0
我正在将角星h5模型量化为uint8。为了得到完全的uint8量化，用户在中告诉我，有代表性的数据集应该已经在uint8中了，否则输入层仍然在float32中。问题是，如果我输入uint8数据，则在调用converter.convert()期间会收到以下错误
我错过了什么？你知道解决办法吗？非常感谢。
浏览 13提问于2020-09-10得票数 0
2回答
怎样才能最好地使用int8数据类型来运行量化模型呢？我知道在pytorch中我可以将张量定义为，但是，当我真正想要使用int8时，我得到：因此，我很困惑，如何在pytorch中运行量化模型，例如，当计算块(如卷积)不支持数据类型时，如何使用int8？
浏览 0修改于2019-03-22得票数 1
回答已采纳
我想用量化转换整个模型，但当我完成这一步并可视化模型的体系结构时，我发现输入和输出仍然是浮动的。你能帮我解决这个问题吗？
浏览 1修改于2021-03-10得票数 0
我正在尝试int8量化我的模型在TensorFlow Lite上。转换本身使用tensorflow 1.15.3，但转换模型在麒麟990上运行得非常慢。我的模型是int8(tf.lite.OpsSet.TFLITE_BUILTINS_INT8)量化，而mobilenet_v1_1.0_224_quant.tflite则是uint8量化。Conv2D的“过滤器”属性在mobilenet_v1_1.0_224_quant.tflite中有一个“量化”属性，而在我的转换模型中，Conv2D的“
浏览 9提问于2020-09-02得票数 2
我使用TensorFlow 2.1来训练具有量化感知训练的模型.这些节点应该调整模型的权重，这样它们就更容易被量化为int8，并且更容易处理int8数据。此外，当我在this C++ 中运行这个量化模型时，我看到它在推理过程中也运行假量化节点。此外，它还对各层之间的激活进行了量化和量化。这是C++代码输出的一个示例：
投入:1节点1运算符内置代码114量化
投入: 2
浏览 10提问于2020-06-17得票数 5
我是tensorflow和量化的新手，我正在尝试为两个int8输入实现量化矩阵操作。很好奇地想知道操作背后的数学原理。我在tensorflow中看到，他们只对uint8输入实现了同样的方法，想知道如何将其用于带符号的int8 matmul/conv2D。
浏览 3提问于2018-10-26得票数 0
我使用TensorFlow Lite来量化FP32权重，并激活INT8。我提取并可视化了重量，偏倚，零分的鳞片，多亏了尼特恩.
我需要用C语言设计LeNet5 CNN。但是，我不明白用INT8格式进行推断的要点。从“有效整数-算术推理的神经网络量化和训练”：中，作者详细描述了用量化INT8卷积进行推理的工作流程:在输入和权值之间的卷积步骤之后的，然后加上偏差，作者精确地说明了从INT32到INT8的降尺度是由M
浏览 17提问于2021-12-22得票数 0
我使用英特尔lpot()成功地量化了一个用于huggingface文本分类的pytorch模型。model = AutoModelForSequenceClassification.from_pretrained('fp32/model/pathlpot.utils.pytorch import load
modellpot = load("path/to&
浏览 29提问于2021-09-29得票数 0
我有一个经过训练的onnx模型，需要量化到INT8。但我希望我的最后一个完全连接的层仍然在FP32或FP16中。那么，我如何选择特定的层来量化(或不量化)？
浏览 13提问于2022-11-09得票数 0
我用Tensorflow 1.15.3量化了一个Keras h5模型(Tf1.13；keras_vggface模型)，以便与NPU一起使用它。converter.inference_output_type = tf.int8 # or tf.uint8我得到的量化模型一见钟情输入层类型为int8，滤波器为int8，偏置为int32，输出为int8。
然而，模型在输入层之后有一个量化层，输入层是float
浏览 4修改于2020-09-11得票数 1
回答已采纳
/tensorflow-yolov4-tflite将生成的权重文件转换为tensorflow lite，我能够将yolo权重转换为pb和tflite float16，但使用此存储库转换为tflite int8我尝试了很多东西来把它转换成tflite int8。 我现在正在与珊瑚开发板，这需要tflite int8量化，请指导我如何转换的pb权重文件到tflite int8。
浏览 36提问于2021-04-07得票数 0
为此，我使用Tensorflow Lite提供的训练后量化机制对原始ANN进行了量化。如果权重确实量化为int8，则会将偏移从float转换为int32。考虑到我假装在CMSIS-NN中实现这个ANN，这是一个问题，因为他们只支持int8和int16数据。
是否可以将TF Lite配置为也将偏差量化为int8？
浏览 18提问于2020-08-07得票数 2
当我转换为TFlite INT8量化时，它的推理速度在英特尔8核英特尔酷睿i9 2.3 GHz上约为2 fps。这在CPU上是预期的吗？有人能解释一下是什么导致INT8推理速度慢吗？
浏览 45提问于2020-10-30得票数 0
1回答
我正在使用Tensorflow Lite进行一个TinyML项目，该项目包括量化模型和浮点模型。在我的管道中，我使用tf.keras API训练我的模型，然后将模型转换成TFLite模型。最后，将TFLite模型量化为int8模型。每次都要经历量化过程，这是相当耗时的。
浏览 3提问于2021-06-25得票数 2
回答已采纳
我正在尝试将我的tensorflow分割模型转换为带有量化的openvino。我使用openvino模型优化器将我的.pb模型转换为中间表示。而是如何量化模型。我可以在没有数据集的情况下将我的模型转换为int8吗?或者我可以创建要分割的数据集吗？
浏览 0提问于2019-10-08得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号