用Google工具包分割自拍效果差

Question

我正在使用Google做自拍分段(https://developers.google.com/ml-kit/vision/selfie-segmentation)。但是，产出却非常差-

初始图像：

​

​

带有重叠的分割图像:观察女性的头发是如何标记为粉红色的，健身器材和她腿附近的周围都被标记为非粉红色。甚至她的手都被标记为粉红色(意为背景)。

​

​

当这被叠加在另一张图像上时，为了产生背景去除效果，它看起来很糟糕。

​

​

ML返回的分割掩码对于上述所有非粉红色区域都有1.0的信心，这意味着它绝对确定非粉红色区域是人的一部分！！

我看到这几张照片，而不仅仅是这张。事实上，对于图像分割器来说，性能(可信度)相当差。

问题是--是否有办法改进它，也许通过提供另一种/更好的模式？如果我使用像PixelLib这样的工具，那么分割效果要好得多，尽管库的性能不是很低，因此不能在手机上运行。

任何关于这方面的建议/帮助都将是非常感谢的。

Answer 1

它可能过于乐观，期望一个轻量级的实时CPU自拍模型，以提供准确的分割结果，为相当复杂的方式，在一个棘手的场景(姿势，黑色的背景和服装)。

官方例子强调了一个事实，复杂的环境可能是一个问题。

​

​

处理场景的唯一“简单”方法是使用深度估计。刚刚对一个非常复杂的模型做了一个快速测试：

​

​

结果远远不能被使用(至少以完全自动化的方式)。还有其他几种选择：

• 创建一个自定义的更面向运动的模型，并在适当的数据集上进行培训。
• 使用更重的型号(现代手机很有能力)
• 使用一些可靠的姿态估计，以确保特定场景是自拍兼容的。

​

​