神经网络物理模型.单输出+叠加集成与多输出

Question

我们试图用人工神经网络取代现有的物理模型(8输入/7输出)。现有模型背后的物理主要是空调用潮湿空气的热力学，涉及到一些透平机械，这很可能在输入和输出之间产生复杂的函数。

已经完成了一种方法:单输出神经网络(10 NN具有相同的隐层，但具有不同的参数，如批大小、时间、优化器等)。然后使用某种堆叠组合:每个预测都被用作单个NN的新输入，以预测最终值。

但是，有一些测试数据点的绝对误差很高，足以担心预测值(例如，这可以用于空调控制策略，因此不好的预测会导致一个不受控制的系统)。

为了提高精度，一些同事建议保持简单，只使用单一神经网络进行多输出回归。

从数学的角度来看，我有以下几个问题：

1. 单输出NNs叠加组合的性能会优于多输出单NN吗？
2. 使用NN进行堆栈集合是一种很好的方法吗？我看到了一些不同的技术，比如算术平均输入。

耽误您时间，实在对不起!问候

Answer 1

我猜:我同意你的同事的意见。我认为除了一个具有多个输出的单一神经网络之外，没有任何其他的理由。如果有必要，增加单个神经网络的容量，直到你没有看到任何进一步的改进。

一个叠加的集合，其中有几个神经网络，其输入作为输入输入到另一个神经网络中，这本身就相当于一个更大的神经网络。我看不出有什么理由期望堆叠式的训练更有效，或者因为其他原因而更好。

然而，这最终是一个经验领域。找出哪种方法最有效的唯一方法是尝试不同的方法，看看。没有大量的理论能让我们预测什么方法最有效。

您可能会考虑是否可以获得更多的培训数据，特别是在特别感兴趣的制度中。通常，更好的训练数据集比修改神经网络体系结构提供更高的收益。