blocks|key|2261823|text|在局部最小(或最大)+x处，目标函数f的导数为零：f'(x)+=+0+(假设f足够平滑)。|type|unstyled|depth|inlineStyleRanges|offset|length|style|CODE|entityRanges|data|2261824|梯度下降试图通过使用来自f的一阶导数的信息来找到这样的最小x：它只是沿着从当前点开始的最陡峭的下降。这就像在f的图表中滚动一个球，直到它停止(同时忽略惯性)。|2261825|牛顿法试图通过用线性函数x逼近f'(x)+=+0，然后显式地求解该函数的根来寻找满足f'的点g+(这称为牛顿求根法)。g的根不一定是f'的根，但在许多情况下它是一个很好的猜测(+Wikipedia+article+on+Newton's+method+for+root+finding有更多关于收敛标准的信息)。牛顿法在逼近f'时，利用了f''+(f的曲率)。这意味着它对f的平滑度有更高的要求，但这也意味着(通过使用更多的信息)它通常收敛得更快。|2261826|entityMap|0|LINK|mutability|MUTABLE|url|http://en.wikipedia.org/wiki/Newton%2527s_method^0|B|1|I|1|P|9|12|1|0|C|1|T|1|1I|1|0|C|1|F|9|16|2|1A|1|1N|1|1U|2|4I|2|4P|3|4U|1|56|1|2H|1H|0|0^^$0|@$1|2|3|4|5|6|7|R|8|@$9|S|A|T|B|C]|$9|U|A|V|B|C]|$9|W|A|X|B|C]|$9|Y|A|Z|B|C]]|D|@]|E|$]]|$1|F|3|G|5|6|7|10|8|@$9|11|A|12|B|C]|$9|13|A|14|B|C]|$9|15|A|16|B|C]]|D|@]|E|$]]|$1|H|3|I|5|6|7|17|8|@$9|18|A|19|B|C]|$9|1A|A|1B|B|C]|$9|1C|A|1D|B|C]|$9|1E|A|1F|B|C]|$9|1G|A|1H|B|C]|$9|1I|A|1J|B|C]|$9|1K|A|1L|B|C]|$9|1M|A|1N|B|C]|$9|1O|A|1P|B|C]|$9|1Q|A|1R|B|C]]|D|@$9|1S|A|1T|1|1U]]|E|$]]|$1|J|3|-4|5|6|7|1V|8|@]|D|@]|E|$]]]|K|$L|$5|M|N|O|E|$P|Q]]]]

At a local minimum (or maximum) <code>x</code>, the derivative of the target function <code>f</code> vanishes: <code>f'(x) = 0</code> (assuming sufficient smoothness of <code>f</code>).

Gradient descent tries to find such a minimum <code>x</code> by using information from the first derivative of <code>f</code>: It simply follows the steepest descent from the current point. This is like rolling a ball down the graph of <code>f</code> until it comes to rest (while neglecting inertia).

Newton's method tries to find a point <code>x</code> satisfying <code>f'(x) = 0</code> by approximating <code>f'</code> with a linear function <code>g</code> and then solving for the root of that function explicitely (this is called Newton's root-finding method). The root of <code>g</code> is not necessarily the root of <code>f'</code>, but it is under many circumstances a good guess (the <a href="http://en.wikipedia.org/wiki/Newton%27s_method" rel="noreferrer">Wikipedia article on Newton's method for root finding</a> has more information on convergence criteria). While approximating <code>f'</code>, Newton's method makes use of <code>f''</code> (the curvature of <code>f</code>). This means it has higher requirements on the smoothness of <code>f</code>, but it also means that (by using more information) it often converges faster.

blocks|key|2260774|text|简单地说，梯度下降，你只需要向你认为零点的地方迈出一小步，然后重新计算；，牛顿的方法，你一直走到那里。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|2260775|entityMap^0|0^^$0|@$1|2|3|4|5|6|7|D|8|@]|9|@]|A|$]]|$1|B|3|-4|5|6|7|E|8|@]|9|@]|A|$]]]|C|$]]

Put simply, gradient descent you just take a small step towards where you think the zero is and then recalculate; Newton's method, you go all the way there.

blocks|key|4139475|text|编辑2017年：原始链接已死-但返回机器的方式仍然有它:)+https://web.archive.org/web/20151122203025/http://www.cs.colostate.edu/~anderson/cs545/Lectures/week6day2/week6day2.pdf|type|unstyled|depth|inlineStyleRanges|offset|length|style|BOLD|entityRanges|data|4139476|这个power的主要思想是简单地解释http://www.cs.colostate.edu/~anderson/cs545/Lectures/week6day2/week6day2.pdf|4139477|我希望这能有所帮助:)|4139478|entityMap|0|LINK|mutability|MUTABLE|url|https://web.archive.org/web/20151122203025/http://www.cs.colostate.edu/~anderson/cs545/Lectures/week6day2/week6day2.pdf|1|http://www.cs.colostate.edu/~anderson/cs545/Lectures/week6day2/week6day2.pdf^0|0|7|U|3B|0|0|I|24|1|0|0^^$0|@$1|2|3|4|5|6|7|T|8|@$9|U|A|V|B|C]]|D|@$9|W|A|X|1|Y]]|E|$]]|$1|F|3|G|5|6|7|Z|8|@]|D|@$9|10|A|11|1|12]]|E|$]]|$1|H|3|I|5|6|7|13|8|@]|D|@]|E|$]]|$1|J|3|-4|5|6|7|14|8|@]|D|@]|E|$]]]|K|$L|$5|M|N|O|E|$P|Q]]|R|$5|M|N|O|E|$P|S]]]]

Edit 2017: The original link is dead -
 but the way back machine still got it :) <a href="https://web.archive.org/web/20151122203025/http://www.cs.colostate.edu/~anderson/cs545/Lectures/week6day2/week6day2.pdf" rel="nofollow noreferrer">https://web.archive.org/web/20151122203025/http://www.cs.colostate.edu/~anderson/cs545/Lectures/week6day2/week6day2.pdf</a>

this power point the main ideas are explained simply <a href="http://www.cs.colostate.edu/~anderson/cs545/Lectures/week6day2/week6day2.pdf" rel="nofollow noreferrer">http://www.cs.colostate.edu/~anderson/cs545/Lectures/week6day2/week6day2.pdf</a>

I hope this help :)

blocks|key|4047211|text|如果你简单地比较梯度下降和牛顿的方法，这两种方法的目的是不同的。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|4047212|梯度下降用于寻找(近似)局部最大值或最小值(x表示min+f(x)或max+f(x))。而牛顿的方法是寻找(近似)函数的根，即x使f(x)+=0|4047213|从这个意义上说，它们用来解决不同的问题。然而，牛顿的方法也可以在优化(+GD正在解决的领域)的上下文中使用。因为求最大值或最小值可以通过求f'(x)+=0来实现，这正是牛顿方法的用法。|4047214|总之，在优化中可以使用两种方法:+1)GD和2)找到x，因此f'(x)=0，牛顿法就是解决第二个问题的一种方法。|4047215|entityMap^0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|J|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|K|8|@]|9|@]|A|$]]|$1|D|3|E|5|6|7|L|8|@]|9|@]|A|$]]|$1|F|3|G|5|6|7|M|8|@]|9|@]|A|$]]|$1|H|3|-4|5|6|7|N|8|@]|9|@]|A|$]]]|I|$]]

If you simply compare Gradient Descent and Newton's method, the purpose of the two methods are different.

Gradient Descent is used to find(approximate) local maxima or minima (x to make min f(x) or max f(x)). While Newton's method is to find(approximate) the root of a function, i.e. x to make f(x) = 0

In this sense, they are used to solve different problems. However, Newton's method can also be used in the context of optimization (the realm that GD is solving). Because finding maxima or minima can be approached by finding f'(x) = 0 which is exactly Newton's method is used for.

In conclusion, two methods can be used in optimization: 1)GD and 2)find x so f'(x)=0
and Newton's method is just a way to solve that second problem.

blocks|key|2261913|text|基于@Cheng的答案，我们将把牛顿方法应用于f'()，以找到f()的最优值，这对认识到牛顿方法找出函数的根是有帮助的。因此，这种情况下牛顿方法的更新规则是：|type|unstyled|depth|inlineStyleRanges|offset|length|style|CODE|entityRanges|data|2261914|new_guess+=+old_guess+-+f'(old_guess)/f''(old_guess)，其中f''()是要优化的函数的曲率。|2261915|相比之下，梯度下降中的更新规则是：|2261916|new_guess+=+old_guess+-+f'(old_guess)*alpha，其中alpha表示步长。|2261917|从这里可以大致看出牛顿的方法是如何使用函数的曲率f''()来增加或减少其更新大小的。|2261918|entityMap^0|N|4|V|3|0|0|1G|1J|5|0|0|0|17|1A|5|0|O|5|0^^$0|@$1|2|3|4|5|6|7|P|8|@$9|Q|A|R|B|C]|$9|S|A|T|B|C]]|D|@]|E|$]]|$1|F|3|G|5|6|7|U|8|@$9|V|A|W|B|C]|$9|X|A|Y|B|C]]|D|@]|E|$]]|$1|H|3|I|5|6|7|Z|8|@]|D|@]|E|$]]|$1|J|3|K|5|6|7|10|8|@$9|11|A|12|B|C]|$9|13|A|14|B|C]]|D|@]|E|$]]|$1|L|3|M|5|6|7|15|8|@$9|16|A|17|B|C]]|D|@]|E|$]]|$1|N|3|-4|5|6|7|18|8|@]|D|@]|E|$]]]|O|$]]

Building on the answer by @Cheng, it's helpful to realise that because Newton's Method finds the root of a function, we will apply Newton's method to <code>f'()</code> in order to find an optimum of <code>f()</code>. Therefore, the update rule for Newton's Method in this case is:
<code>new_guess = old_guess - f'(old_guess)/f''(old_guess)</code>, where <code>f''()</code> is the curvature of the function to be optimised.
In comparison, the update rule in gradient descent is:
<code>new_guess = old_guess - f'(old_guess)*alpha</code>, where <code>alpha</code> denotes the step size.
From this you can roughly see how Newton's method uses the function's curvature <code>f''()</code> to increase or decrease the size of its update.

I understand what Gradient Descent does. Basically it tries to move towards the local optimal solution by slowly moving down the curve. I am trying to understand what is the actual difference between the plan gradient descent and the newton's method?

From Wikipedia, I read this short line "Newton's method uses curvature information to take a more direct route." What does this intuitively mean?

What is the difference between Gradient Descent and Newton's Gradient Descent?

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

我知道梯度下降是做什么的。基本上，它试图通过缓慢向下移动曲线来朝着局部最优解移动。我想知道平面梯度下降法和牛顿法的实际区别是什么？从维基百科上，我读到了这样一句简短的话：“牛顿的方法使用曲率信息来选择更直接的路线。”直观地说，这意味着什么？

问梯度下降和牛顿梯度下降的区别是什么？
EN

回答 5

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问梯度下降和牛顿梯度下降的区别是什么？EN

回答 5

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问梯度下降和牛顿梯度下降的区别是什么？
EN