是否有可能为每个类从多个数据集训练模型？

Question

我对目标探测很陌生。我正在使用tensorflow对象检测API，现在我正在为我的项目和model_main.py收集数据集来训练我的模型。

我发现并转换了两个相当大的汽车和交通灯数据集，并给出了注释。从他们那里做了两张And记录。

现在我想训练一个经过预先训练的模特，但我只是好奇它会起作用吗？当图像(例如"001.jpg“)有可能有一些带有注释的汽车边框(来自汽车数据集)时，但是如果有交通灯，它也不会被标注为->，这会导致糟糕的学习速度吗？(可能有很多“有问题的”图像)我该如何改进？有什么解决办法吗？(我真的不想再给图像加注解了)

如果它愚蠢的问题，我很抱歉，感谢任何答复-一些链接与这个问题将是最好的！

谢谢！

Answer 1

简单地说，是的，这可能是有问题的，但只要努力，你就可以做到这一点。如果有两个城市数据集，其中一个数据集中只有交通灯注释，而第二个数据集只有汽车注释，那么第一个数据集中的每个car实例将被学习为假示例，而第二个数据集中的每个交通灯实例都将作为假示例来学习。我能想到的两种可能的结果是：

1. 这种模式不会趋同，因为它试图学习相反的东西。
2. 该模型将收敛，但将是特定的领域。这意味着该模型将只检测来自第一个数据集域的图像上的交通灯，而在第二个数据集中检测汽车。事实上，我尝试在一个不同的设置中自己这样做，并得到了这个结果。

为了能够了解您的目标，学习交通灯和汽车，无论它们来自哪个数据集，您需要修改您的损失函数。您需要告诉每个图像来自哪个数据集的丢失函数，然后只计算相应类上的损失(/zero除去类上的损失，类上的损失与它不对应)。因此，回到我们的例子，您只计算损失和反向传播交通灯在第一个数据集中，汽车在第二个数据集。

为了完整起见，我要补充的是，如果资源可用，那么更好的选择是注释所有数据集中的所有类，以避免建议的修改，因为仅通过反向传播某些类，您不喜欢对其他类使用实际的假示例。