梯度下降与成本函数J(θ)的区别是什么？

Question

我在学习机器，从古瑟拉那里学习。但我有点困惑于梯度下降和成本函数。我应该在何时何地使用这些？

Answer 1

J(ϴ)通过尝试和错误方法最小化，即尝试大量的值，然后检查输出。因此，在实践中，这意味着这项工作是手工完成的，而且耗时。

梯度下降基本上只是做J(ϴ)所做的，但 - 以一种自动化的方式，一点一点地改变θ值或参数，直到我们希望达到最小值为止。这是一种迭代方法，其中模型移动到最陡下降的方向，即θ的最优值。

为什么使用梯度下降？它易于实现，而且是一种通用的优化技术，因此即使您更改了模型，它也会工作。如果您有很多特性，最好使用GD，因为在这种情况下，普通的J(ϴ)计算会变得非常昂贵。

Answer 2

梯度下降需要一个成本函数(有多种类型的成本函数)。常用的一个常用函数是均方误差，它测量估计器(数据集)和估计值(预测)之间的差异。

我们需要这个成本函数，因为我们想把它最小化。最小化任何函数都意味着在该函数中找到最深的谷。请记住，成本函数用于监视ML模型预测中的错误。因此，最小化这一点，基本上意味着获得尽可能低的误差值，或者提高模型的准确性。总之，我们通过迭代训练数据集来提高模型的精度，同时调整模型的参数(权重和偏差)。

总之，梯度下降的全部点是将成本函数降到最小。