火炬中的int8数据类型

Question

怎样才能最好地使用int8数据类型来运行量化模型呢？我知道在pytorch中我可以将张量定义为int8，但是，当我真正想要使用int8时，我得到：

RuntimeError: _thnn_conv2d_forward is not implemented for type torch.CharTensor

因此，我很困惑，如何在pytorch中运行量化模型，例如，当计算块(如卷积)不支持数据类型时，如何使用int8？我使用的是pytorch版本的1.0.1.post2。

Answer 1

取决于你的目标是什么。

1. 如果您想模拟您的量化模型：

您可以坚持现有的浮点数据类型，并且只在需要时引入截断，即：

 x = torch.floor(x * 2**8) / 2**8

假设x是一个浮动张量。

1. 如果您想要有效地模拟量化模型

那么，恐怕PyTorch不是很有用，因为低级别卷积运算符仅用于浮点类型。

Answer 2

在最近的Pytorch版本中，本机支持量化的张量运算。这意味着您可以执行大多数常见操作(Conv、ReLU、Linear等)。关于量化张量(目前只有CPU不幸)。请参阅https://pytorch.org/docs/stable/quantization-support.html