是使用分析梯度还是自动分化来进行训练？
是使用分析梯度还是自动分化来进行训练？
提问于 2022-03-17 20:31:09
我对gpy手电如何计算与模型参数相关的梯度感到困惑。例如，假设我使用具有高斯似然、径向基函数核和常量均值的ExactGP，并使用MLE (极大似然估计)来求模型的参数(均值、核参数和噪声)。计算模型梯度w.r.t参数的一种方法是使用解析梯度，即取参数的负对数似然导数，并求出每一次推导的方程。另一种方法是使用pytorch提供的自动微分。
在他们的论文标题为" Gpytorch :黑箱矩阵-矩阵高斯过程与GPU加速推断“的论文中，作者提到他们正在使用分析梯度，或者至少这是我通过阅读这篇论文所理解的。我说的对吗？另外，我找不到他们实现分析梯度的代码。
有人能帮我更好地理解这件事吗？
回答 1
Stack Overflow用户
发布于 2022-03-18 15:49:17
“由PyTorch提供的自动微分”确实计算了解析梯度(通过反向传播，注意没有有限差分或类似的东西)--它只是自动地计算。
https://github.com/cornellius-gp/gpytorch/discussions/1949#discussioncomment-2384471
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/71518661
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号