卷积层通常将ReLU激活函数(https://en.wikipedia.org/wiki/Rectifier_(neural_networks%29))应用于输出以将非线性引入到模型中。
例如,我们建议您注册您自己的融合内核以执行一些性能关键操作,例如ReLU和Sigmoid激活函数及其相应的渐变。XLA编译器具有自动内核融合的实验实现。 代码 OpKernel接口
首先是原始的Relu操作,带有浮点输入和输出: [图片] 然后,这是等价的转换子图,仍然具有浮点输入和输出,但具有内部转换,因此计算以八位完成。

扫码关注腾讯云开发者
领取腾讯云代金券
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号:粤B2-20090059
粤公网安备44030502008569号
腾讯云计算(北京)有限责任公司 京ICP证150476号 | 京ICP备11018762号
