如何比较MPEG-7视频签名

Question

我想通过使用预计算出的MPEG-7 video signatures来衡量两个视频的相似度。虽然ffmpeg支持通过直接输入视频来比较两个视频是否匹配，但我找不到在没有原始视频文件的情况下稍后比较签名文件(bin或xml)的方法。

在深入研究了一些ffmpeg代码之后，我找到了here和here这两行代码，但是我被卡住了。

有没有一种简单的方法来计算与这些MPEG-7视频签名文件的相似度得分？

Answer 1

我在自己寻找答案的时候发现了你的问题。在解决了我更有限的问题(我是一个初学者-我只需要检测匹配，只使用粗略的签名，而不关心本地化匹配)，我可以提供以下评论。

• ffmpeg源代码链接到一篇论文《用于内容识别的MPEG-7视频签名工具》，该论文提供了一个用于成对匹配的三阶段方案示例(参见第七部分)，ffmpeg似乎已经采用了该方案。我不确定以这种方式比较签名是否真的能给你一个连续的相似性度量-就像ffmpeg输出一样，它似乎只会告诉你是否有匹配，以及在这些匹配中哪一个是最好的/最长的。

• 粗匹配是通过计算两个签名的“片段”组合之间的Jaccard距离，并将这些距离与各种阈值进行比较来确定的。您可能能够使用这些距离作为相似性评分的基础，但在这样做的过程中似乎有很多选择。例如，一个10秒剪辑的5秒片段是完全相似(因为第一个剪辑中的每一帧都是从第二个剪辑中提取的)还是只有50%相似(因为第一个剪辑中只有一半的帧存在？)替代方法可能基于两个剪辑停止注册为匹配的阈值来计算相似性分数。

标准(第6部分)附带的参考软件

• 被描述为包括软件，用于计算描述之间的距离以进行索引(参见here)。不幸的是，这个标准非常昂贵，所以我还没有见过这个implementation.