用于实例分割的3D注释

Question

我正在尝试为3D实例分割注释一些数据。虽然为每个2D平面绘制蒙版相当简单，但如何在注释后将相同的“实例”连接在一起并不明显(即。将“红色”掩码连接在一起，将“蓝色”掩码连接在一起)，而无需费力地确保实例是匹配的(即。颜色编码，以确保“红色”口罩始终与“红色”口罩连接)。

我想过的一个天真的方法是制作许多2D分割掩模，并计算每个检测到的对象的质心。我可以稍后根据最接近的匹配质心重新分配实例，但我担心这会无意中生成“交叉”分割实例(如下所示)。生成3D注释的高通量策略有哪些？

​

​

Answer 1

2-d切片的边界可以用作约束，以获得最佳的3-d曲面，如1中所建议的那样。

但是，我认为从标记生成3-d标签会更容易，比如2。它的实现可以在here中获得(如果你遇到任何问题，可以免费填充，打开一个问题:P)。

此外，napari包对于开发图形用户界面也很有用。

1格雷迪，利奥。“最小曲面将最短路径分割方法扩展到3D。”IEEE Transactions on Pattern Analysis and Machine Intelligence 32.2 (2008)：321-334。

2 Falcão，Alexandre X.和Felipe PG Bergo。“使用差分图像森林变换的交互式体积分割。”IEEE医学影像学报23.9 (2004)：1100-1108。

Answer 2

您可以使用3D Slicer's Segment Editor。它是免费的，开源的，有许多内置的工具，并且可以在Python或C++中定制/扩展(你可以很轻松地插入你自己的分割方法)。要解决分割任务，通常首先使用交互式GUI找出一个好的分割工作流(使用什么工具，以什么组合和什么参数)，然后如果需要，可以使用Python脚本使其半自动或全自动。

您可以通过绘制每个图像切片的轮廓来创建分割，但这太单调乏味了。相反，您可以使用3D区域增长(从种子效果增长)或仅在几个切片上分割，并在它们之间进行插值(填充切片之间效果)。