是否有可能在视频中提取前景，其中最大的部分背景是一个巨大的屏幕(播放视频)？

Question

我正在使用一系列kinect相机进行多视点远程呈现项目。

为了提高视觉质量，我们需要提取前景，例如，站在中间的人使用彩色图像、彩色图像而不是深度图像，因为我们希望使用更可靠的彩色图像来修复深度图像中的一些手工艺品。

现在的问题是，前景物体(通常是1-2人)站在一个巨大的屏幕前，显示另一方，它也一直在移动，这个屏幕对某些激酶来说是可见的。是否仍有可能提取这些动作的前景，如果有，你能指出我的正确方向吗？

关于现有系统的更多信息：

我们已经有一个系统正在运行，它融合了所有kinects的深度地图，但这只会让我们走得更远。kinect深度传感器存在很多问题，如对传感器的干扰和距离。此外，颜色和深度传感器是轻微移动，所以当你映射颜色(如纹理)在一个网格重建使用深度数据，你有时映射到地面的人。

所有这些问题都降低了深度数据的整体质量，而不是颜色数据，因此人们可以将彩色图像剪影看作是真实的，而深度的剪影则是“破碎的”。然而，网格是利用深度数据构造的。因此，改进深度数据就等于提高系统的质量。

现在，如果您有剪影，您可以尝试删除/修改剪影之外的不正确的深度值和/或在其中添加缺失的深度值。

谢谢你能提供的每一个提示。

Answer 1

在我处理这类问题的经验中，你提出的策略并不是最好的选择。

因为你有一个非恒定的背景，你想要解决的问题实际上是二维分割。这是一个很难的问题，人们通常使用深度来使分割更容易，而不是反过来。我将尝试合并/合并来自Kinect的多个深度映射，以改进深度图像，可能是以Kinect融合的方式，或者使用经典的传感器融合技术。

如果你绝对决心遵循你的策略，你可以尝试使用你不完美的深度地图来组合RGB相机图像，以便重建背景的完整视图(而不被前面的人遮挡)。然而，由于屏幕上背景图像的变化，这将需要您的Kinect的RGB相机同步，我认为这是不可能的。

基于评论/更新的编辑

我认为利用你对屏幕上的图像的知识是你唯一的机会做背景减法，以增强轮廓。我认为这是一个棘手的问题，因为如果我正确理解你的话，这是一个立体显示。

当您在屏幕上显示某一图像时，您可以尝试计算一个模型来描述您的Kinect RGB相机所看到的(给定立体显示及其位置、传感器类型等)，本质上是一个告诉您的函数: Kinect K在像素处看到(r, g, b)，当我在显示器上的像素处显示(r',g',b')时，(x',y')显示在像素处。要做到这一点，您必须创建一个序列的校准图像，您显示在显示器上，没有一个人站在它前面，并与Kinect电影。这将使您能够预测您的屏幕在Kinect相机中的外观，从而计算背景减法。这是一项相当具有挑战性的任务(但如果有效的话，它会给出一篇好的研究报告)。

附带说明：您可以很容易地计算Kinect深度相机与其彩色相机的几何关系，以避免在人身上映射地板。有些Kinect API允许您检索深度摄像机的原始图像。如果你覆盖了红外投影仪，你可以用深度和RGB摄像机拍摄一个校准图案，并计算一个外部校准。