边缘检测:有没有性能评估技术？

Question

我正在从事图像的边缘检测工作，并想评估算法的性能，如果有人能给我一个参考或如何进行它的方法将是非常有帮助的。:)

我没有基本的事实，数据集包括彩色和灰色图像。

谢谢。

Answer 1

1. 创建具有已知边缘的合成数据集，例如通过3D渲染，通过将2D图像与精确的蒙版合成(如可在免版税照片集中获得)，或通过直接引入边缘(细/模糊线条)。记得添加一些看起来像边的混淆的非边，类型适合你调优的类型。
2. 使用你的(非合成)数据集。运行要与之进行比较的参考算法。还可以产生参考算法的组合，例如通过投票(多数，N中至少K个，等等)。计算algo与参考algo性能的统计数据，依据(a)您的algo分类为边缘的点数，每个参考algo或其组合未分类为边缘(假阳性)，或(b)参考algo分类为边缘但algo未分类为边缘的点数(假阴性)。您还可以通过查看每个点并查看哪些算法可以(或不)将其分类为边来计算算法的等级相关类型数字。
3. 手动创建基本事实。使用参考找边算法作为起点，然后手工修复。在任何情况下，对于少量的图像来说，这样做都是有价值的。

祝好运!

Answer 2

为了进行比较，像@Alex我解释的那样的定量测量是最好的。要做到这一点，你需要用一个基本的事实集来定义什么是“正确的”，并提供一种方法来一致地确定给定的图像是正确的，还是在更细粒度的级别上，它的正确程度(某个数字，比如百分比)。@Alex我给出了一个这样做的方法。

另一个经常用于没有基本事实的图形研究的选择是用户研究。通常不太可取，因为它们很耗时，而且通常成本更高。但是，如果您追求的是质量改进，或者如果定量测量太难做到，那么用户研究是一个合适的解决方案。

当我指的是用户研究时，我的意思是调查人们对输入图像的结果有多好。你可以给他们一个等级来对事物进行评级，并从你的结果和另一个算法的结果中随机给他们样本

当然，如果你还想要更多的想法，一定要查看边缘检测论文，看看他们是如何衡量结果的(实际上我会先看看这里，因为他们已经经历了同样的过程，并确定了什么是最适合他们的：google scholar)。