使用目标检测模型作为特征提取器

Question

我有一个使用Object Detection API训练的mask-rcnn模型来检测一些对象。现在，我有其他任务需要对这些图像(以及其他功能)进行回归。是否可以使用经过训练的mask-rcnn模型作为特征提取器(类似于迁移学习的工作原理)，并将最后一层(或多个层)更改为其他任务？

Answer 1

掩码r-cnn创建用于RPN区域预测的共享特征映射。通过对对象检测API进行一些细微的调整，您可以提取包含给定区域的特征的张量。通常，这些功能用于框/掩码预测，但您可以将其用于其他任何用途。

如果你只需要它是一个特征提取器(它仍然是冻结的)，这应该是可行的。如果你想根据进一步的下游结果继续训练掩模r-cnn，那么使用对象检测API就会变得更加困难，因为你必须连接所有东西并修改一堆TF训练代码。在这种情况下，您可以考虑构建自己的模型，或者根据问题采用不同的方法。