cudnn: CUDNN_SOFTMAX_FAST输出NaN当CUDNN_SOFTMAX_ACCURATE工作正常时

Question

使用cudnnSoftmaxForward的某些浮点值将在设置CUDNN_SOFTMAX_FAST而不是CUDNN_SOFTMAX_ACCURATE时产生CUDNN_SOFTMAX_FAST输出。有人知道为什么会这样吗？这是图书馆里的臭虫吗？

cudnnHandle_t lib;
cudnnCreate(&lib);
int count = 10;
size_t size = count * sizeof(float);

float examples[] = {
    95.094505f,
    -600.288879f,
    85.621284f,
    72.220154f,
    70.099487f,
    43.734470f,
    69.538422f,
    69.705490f,
    20.752966f,
    81.020088f
};

float* cexamples;
cudaMalloc(&cexamples, size);
cudaMemcpy(cexamples, examples, size, cudaMemcpyKind::cudaMemcpyHostToDevice);

cudnnTensorDescriptor_t tExamples;
cudnnCreateTensorDescriptor(&tExamples);
cudnnSetTensor4dDescriptor(tExamples, cudnnTensorFormat_t::CUDNN_TENSOR_NCHW, cudnnDataType_t::CUDNN_DATA_FLOAT, 1, count, 1, 1);

float one = 1;
float zero = 0;

cudnnSoftmaxForward(lib, cudnnSoftmaxAlgorithm_t::CUDNN_SOFTMAX_FAST, cudnnSoftmaxMode_t::CUDNN_SOFTMAX_MODE_INSTANCE, &one, tExamples, cexamples, &zero, tExamples, cexamples);

cudaMemcpy(examples, cexamples, size, cudaMemcpyKind::cudaMemcpyDeviceToHost);
for (size_t i = 0; i < count; i++)
{
    printf("\n");
    printf("%f  ", examples[i]);
}

下面是使用CUDNN_SOFTMAX_FAST的结果：

​

​

下面是使用CUDNN_SOFTMAX_ACCURATE的结果：

​

​

Answer 1

我猜您的问题是由溢出引起的，即您(进程中的某个地方)的值变得太大，不可能成为float。

CUDNN_SOFTMAX_FAST只是运行，而不检查是否发生溢出。另一方面，CUDNN_SOFTMAX_ACCURATE避免了它(使用减法)。

CUDNN在溢出时返回NaN (请注意，“standart”C可能不会像这样)。

我能建议的是：

• 使用较小的值(为什么不使用归一化 )
• 尝试使用更大的类型(看上去很幼稚，但也许可以)
• 只需设置CUDNN_SOFTMAX_ACCURATE

希望这能有所帮助

pltrdy