深度神经网络模型融合

Question

最近我在研究神经网络的深度学习算法，只是好奇地问一下，是否可以将两个神经网络模型合并，并输出一个包含从这两个模型中学习到的所有知识的模型？

例如：

模型A可以在特性A，B上工作

B型可用于特征C，D

(模型类型对于模型A和模型B是一样的，如果这样做更容易的话)。

经过模型合并，得到了能够在特征、B、C、D上工作的模型C。

我研究过转移学习和暹罗网络，但据我所知，我认为这些技术不能帮助我实现我的目标？(如果我错了，请纠正我)。

因此，任何想法将非常感谢合并这两个模型，或任何可能的技术，术语是欢迎的。

Answer 1

集成学习的概念非常适用于您的场景:给定两个能够很好地预测(甚至比随机选择更好)的机器学习模型，将这两个模型的输出(与另一个ML模型)结合起来，生成一个比单个模型更具有预测性的统一模型(我们称之为模型C)。

对于您的场景，一个简单的应用程序可能包括使用模型A和B的输出以及来自原始功能集的一些附加特性作为模型C的输入。这组更大的功能将允许模型C学习，例如，根据原始集的附加特性提供的当前上下文，模型C对来自模型A的信号的信息比B更有信息。

还可以通过将两个模型添加到相同的图中，并添加一个将来自这两个模型的信号集合起来进行输出预测的层，从而在深度学习框架内实现这一点。