为什么线性模型不能理解任何两个输入特征之间的相互作用？

Question

伊恩·古德费罗的“深度学习”一书指出：

Linear models also have the obvious defect that the model capacity is limited to 
linear functions, so the model cannot understand the interaction between any two 
input variables.

1. 什么是“变量之间的交互”？
2. 非线性模型是如何发现的？

如果有人能给出直观的/图形的/几何的解释，那就太好了。

Answer 1

假设我们的模型有两个输入X1、X2和一个输出Y --输入变量“交互”，例如，X1对Y的影响取决于X2的值。

建模交互术语的最简单方法是添加一个具有X1 * X2的术语，例如：

Y = a*X1 + b*X2 + c*X1*X2 + d

上面的模型的输入是非线性的，X1，X2：这就是古德费罗所说的线性。注意，它的参数a、,b、c是线性的，所以您仍然会看到这个称为“线性回归”的问题。

示例

让我们看一个具体的例子：维基百科饼干烘焙数据维基百科饼干烘焙数据。我们的输入是Temperature和time (在烤箱中)。我们的输出是cookie Yield。

• 当Temperature较短时，增加time会提高cookie的产量。
• 当Temperature长时间时，增加time会降低cookie的产量。

因此，Temperature和time变量相互作用。

相互作用项

模型中的交互项(X1*X2)是做什么的？

你可以认为它是在两个简单的、单变量的模型之间变化或插值，使用第二个变量。如果我们的两个简单模型是：

• 模型A：Y = a0 + a1 * Temperature
• 模式B：Y = b0 + b1 * Temperature

那么，我们的完整模型，通过交互作用是：

Y = c_0 + c_a * time * (Model A) + c_b * time (Model B)

尝试简化它，您将看到有四个术语看起来像我们写下的第一个模型：

Y = a*X1 + b*X2 + c*X1*X2 + d