当有人说“大多数数据科学算法都是优化问题”时，这意味着什么？

Question

我试图理解这篇文章的梯度下降算法，作者说

大多数数据科学算法都是优化问题。

我来自软件工程背景，试图对数据科学有一个基本的了解。有人能帮我解释一下这意味着什么吗？

Answer 1

大多数算法试图最小化一些objecive函数。

例如，在线性回归中，给定(x_i, y_i)，我们试图找到\hat{y}_i= \alpha_0 + \sum_{j=1}^d \alpha_j x_{i,j}，我们希望它接近y。我们尽量减小估计中的均方误差。

那就是我们的目标函数是

\min _\alpha\frac1n \sum_{i=1}^n (y_i-\alpha_o- \sum_{j=1}^d \alpha_j x_{i,j})^2.

我们可能有一个参数未知的模型，我们可以用最大似然来找出我们的模型，在这种情况下，我们最大化了似然函数。再次，我们得到了另一个优化问题。

在一般的监督分类错误中，我们试图将通常表示为损失函数最小化的错误最小化。在支持向量机中，我们试图找到两个类之间最大限度的边界，再一次，我们试图最大化一个目标函数。