用于3d分割的深度学习

Question

我在同一位置拍摄了20张心脏图像，其中有50张。所以，20个图像是一个输入，我有50个输入。因为心在移动，所以所有的图像都是不同的。我想将这些图像作为输入，然后使用深度学习分割二值掩模图像作为输出。

我把我的输入当作3D，在网上找到了很多3D CNN或FCN。但这是x，y，z，3D的情况。我的案例是x，y，t。

有什么建议吗？

Answer 1

这个问题类似于视频对象分割，其中需要通过利用跨帧的时间信息在视频中跨多个帧对对象进行语义分割。在您的例子中，每组输入图像可以被认为是一个包含20帧的视频，数据集包含50个视频，您可以使用监督、半监督或无监督视频对象分割模型(取决于获得地面真实掩码的可用性/成本)。这个公式解决了使用FCN以(x,y,t)顺序分割输入图像堆栈的任务。

以下是我找到的与视频对象分割相关的研究工作的参考资料：

• https://paperswithcode.com/task/video-object-segmentation
• https://paperswithcode.com/task/semi-supervised-video-object-segmentation
• https://paperswithcode.com/task/unsupervised-video-object-segmentation