如何在预测水平上共同学习两个任务？

Question

我训练了一个关于同一图像的两个不同模式的网络。我将数据在一个层中一起传递，但在此之后，几乎两个网络是并行的，它们不共享一个层，两个任务有不同的标签集，因此我有两个不同的丢失和准确性层(我使用caffe )。我想共同学习这些任务。例如，当任务2预测特定的类标签时，对任务1类的预测应该更高。我不想加入他们的功能级别，但在预测水平。我该怎么做呢？

Answer 1

为什么不想加入功能级别的预测呢？

如果您真的想坚持不加入任何网络层的想法，您可以在整个预测管道上应用CRF或SVM来学习预测之间的相互关系。对于任何其他方法，您都需要在网络中以某种方式组合功能。不过，我强烈建议您考虑这样做。深入学习的一个总主题是，在网络中做事情比在外面做要好。

从我通过联合预测实验学到的知识，如果在网络的所有卷积层之间共享权重，您将获得最大的性能增益。然后，您可以应用独立的fc-层，然后是一个softmax回归和单独的损失函数之上的联合预测的特点。这将使网络能够学习功能之间的相互关联，同时仍然能够进行单独的预测。

看看我的MultiNet纸，这是一个很好的起点。我们所有的训练代码都在github上。