掩码R-CNN实例分割与对象检测

Question

我遇到了一个对象检测问题，我的数据由带有边界框的图像组成。我已经回顾了几个最先进的对象检测网络(https://paperswithcode.com/task/object-detection)，并且很难看到实例分割和对象检测是从哪里开始的。

我正试图找出，如果通过边框注释的数据进行训练，什么才是最好的呢？像掩码R-CNN这样的东西会比速度更快的R-CNN表现得更好吗?还是这种性能提升要求我的所有数据在像素级别上被分割，而不是在微调之前用边框注释？如果在边框上训练，没有分割的数据，蒙版R会比R表现得更快吗？我知道你可以用掩码R进行包围盒推断，但是你能在没有像素级分割的情况下训练模型吗？什么是最先进的目标检测，不需要训练像素级分割？

Answer 1

像掩码R-CNN这样的东西会比速度更快的R-CNN表现得更好吗?还是这种性能提升要求我的所有数据在像素级别上被分割，而不是在微调之前用边框注释？

是的，Mask R-CNN确实需要在像素级对数据进行分割，因为它是一个分割模型，比目标检测模型高一个层次，也更复杂。

如果在边框上训练，没有分割的数据，蒙版R会比R表现得更快吗？

不，Mask R-CNN是基于快速的R-CNN对象检测，并添加了分割模块。因此，如果使用包围框对数据进行注释，更快的using 就足够了，使用掩蔽R-CNN是没有意义的。

我知道你可以用掩码R进行包围盒推断，但是你能在没有像素级分割的情况下训练模型吗？

是的，也许你可以用那样的方式来训练模特，但效果不会很好。而且，这样做也没有意义，因为Mask R比than稍慢.

什么是最先进的目标检测，不需要训练像素级分割？

在对象、segmentation和检测之间进行选择取决于应用程序和您的目的。例如，如果你在处理医学图像，并试图检测肿瘤，那么你需要分割，但是要检测街道上的一辆汽车，你可能不关心汽车的确切边界，你只想知道汽车在图像上的位置。对于这种类型的应用程序，对象检测就足够了。对于state-of-the-art对象检测，这也是实时的，我建议使用YOLO，因为它非常快，并执行更快的real，如果不是更好。

Answer 2

只是为了增加更多的上下文，在罗希特·马尔霍特拉等人的工作中。1利用深度蒙皮R-CNN模型，一种用于目标实例分割的深度学习框架，对个体数量进行检测和量化。在这项工作中，他们使用面具R-CNN来检测人数.同时，将更快的R-CNN 2扩展到Mask R-CNN，增加了一个分支来预测中产生的每个感兴趣区域(RoI)的分割掩码。最后，从图像序列的精度和查全率两个方面对模型进行了测量。结果显示在纸中。

这种方法可用于收集可靠和准确的数据，以研究探视政策的影响、医疗程序的频率和时间对患者睡眠-觉醒周期的影响，以及由此产生的结果，如住院时间。Mask R-CNN也可用于关键点检测，也可用于医院病人体位的检测。

1 Rohit Malhotra，K.，Davoudi，A.，Siegel，S.，Bihorac，A.和Rashidi，P.，2018。使用深面罩R自动检测重症监护病房的干扰。“IEEE计算机视觉和模式识别研讨会会议记录”(第1863-1865页)。

2 He，S.，He，K.，Girshick，R.和Sun，J.，2015。更快的r-cnn:使用区域提案网络实现实时目标检测。神经信息处理系统的进展(第91-99页)。