如何处理不可微激活函数在背后支持？

Question

我读过很多关于Py手电如何在网络中处理不可微(或者几乎任何地方都是可微的)激活功能的文章。然而，我无法想出一个完整的情况，究竟发生了什么。

大多数答案都涉及到ReLU \max(0,1)，并声称0的衍生产品按照惯例要么被认为是0，要么是1 (不确定是哪一个)。

但是，还有许多其他的激活函数具有多个不可微点.

2分

4分

在背后如何系统地处理所有这些问题？有谁有权威的答案吗？

Answer 1

由于数值精度的error.And，函数值永远不完全等于这些精确点，torch中的函数计算左、右导数，在每个case.So不可微性中定义的函数在这里不构成问题。