用于tfjs的预训练模型的策略

Question

这是我已经问过的一个问题的更一般的版本：Significant difference between outputs of deep tensorflow keras model in Python and tensorflowjs conversion

据我所知，tfjs模型的各层在浏览器中运行时(到目前为止只在Chrome和Firefox中测试过)，与在Python或Node中运行的相同模型相比，输出值的数值差异很小。这些小差异在模型的所有层上的累积效果可能会导致输出中的相当大的差异。有关这方面的示例，请参阅here。

这意味着在浏览器中运行时，在Python或Node中训练的模型在准确性方面的表现不会很好。而且你的模型越深，它就会变得越糟糕。

因此，我的问题是，在浏览器中训练模型与tfjs一起使用的最佳方式是什么？有没有办法确保输出是相同的？或者你只是必须接受会有很小的数字差异，如果是这样的话，有没有什么方法可以用来训练模型，使其对此更具弹性？

Answer 1

这个答案是基于我个人的观察得出的。因此，这是有争议的，没有太多证据支持。为了获得接近32位模型的16位模型的精确度，我遵循的一些方法如下：

1. 避免对隐藏层使用具有较小上下限的激活，例如sigmoid或tanh。这些激活会导致下一层的权重对较小的值非常敏感，从而导致较小的变化。对于这样的模型，我更喜欢使用ReLU。由于它现在是大多数模型中隐藏层的标准激活，因此在任何情况下都应该使用它。
2. 在训练时避免权重衰减和权重的L1/L2正则化(keras中的kernel_regularizer参数)，因为这些会增加权重的敏感度。改用Dropout，在使用TFLite而不是数值正则化时，我没有观察到性能有很大的下降。