在数据中识别模式的最佳方法是什么，在这个主题上了解更多的最好方法是什么？

Question

一位我正在工作的开发人员正在开发一个分析路面图像以发现路面裂缝的程序。对于他的程序发现的每一个漏洞，它都会在文件中生成一个条目，告诉我哪个像素构成了这个特定的漏洞。不过，他的软件有两个问题：

1)产生几个假阳性。

2)如果他发现裂缝，他只发现其中的一小部分，并将这些裂缝表示为单独的裂缝。

我的工作是编写软件来读取这些数据，分析它，并区分假阳性和实际裂缝之间的区别。我还需要确定如何将裂缝的所有小部分组合为一个整体。

我尝试过各种过滤数据的方法来消除假阳性，并且一直在使用神经网络在一定程度上成功地将裂缝聚在一起。我知道会有错误，但到目前为止，有太多的错误。有没有人对非人工智能专家有任何洞察力，如何最好地完成我的任务或了解更多的知识？我应该读什么样的书，或者我应该上什么样的课？

编辑我的问题是如何注意到同事数据中的模式，并将这些模式识别为实际裂缝。我关心的是更高层次的逻辑，而不是低级逻辑。

编辑在所有现实中，它将需要至少20个样本图像，以提供一个准确的数据，我正在工作。变化很大。但我确实有一个样本这里、这里和这里。这些图像已经被我的同事处理过了。红色、蓝色和绿色是我必须分类的数据(红色代表暗裂缝，蓝色代表轻裂纹，绿色代表宽/密封裂缝)。

Answer 1

你的问题落在非常广泛的图像分类领域。这些类型的问题可能是出了名的困难，最终，解决它们是一门艺术。您必须利用有关问题域的每一项知识，使其易于处理。

一个基本问题是正常化。您希望类似的分类对象在数据表示中尽可能相似。例如，如果您有裂缝的图像，是否所有图像都具有相同的方向？如果不是，那么旋转图像可能有助于您的分类。类似地，缩放和翻译(参见这)

您还希望从培训集中删除尽可能多的无关数据。与其直接处理图像，不如使用边缘提取 (例如Canny边缘检测)。这将消除所有的‘噪音’从图像，只留下边缘。然后将练习简化为识别哪些边缘是裂缝，哪些是天然路面。

如果你想快速找到一个解决方案，那么我建议你先试试卷积神经网络，它可以用最少的预处理和归一化来实现相当好的图像分类。它在笔迹识别方面非常有名，而且可能正好适合你正在做的事情。

Answer 2

你选择解决这个问题的方式让我有点困惑。如果你的同事没有发现完全的裂缝，这就是规范，那就成了你的问题。但是如果你设法把所有的裂缝缝合在一起，并避免他的假阳性，那么你不是刚刚完成了他的工作吗？

除此之外，我认为这是一个边缘检测问题，而不是分类问题。如果边缘检测器是好的，那么你的问题就会消失。

如果你还在进行分类，那么你就需要一个包含已知答案的训练集，因为你需要一种方法来量化一个假阳性和一个真正的裂纹的区别。然而，我仍然认为你的分类器不太可能将裂缝连接起来，因为这些裂缝是每个单独的铺路板所特有的。

Answer 3

我不得不同意ire_and_curses的观点，一旦你深入到边缘检测领域去修补你的合作开发人员的漏洞检测，并删除他的假阳性，似乎你就会做他的工作。如果你能修补他的软件没有检测到的东西，并移除他给你的假阳性。似乎你可以这样做，为完整的形象。

如果规范是由他来检测裂缝，然后你对它们进行分类，那么他的工作就是做边缘检测和删除假阳性。你的工作就是接受他给你的东西，并把它分类。如果你必须做边缘检测来做到这一点，那么听起来就像你离让你的共同开发人员失业不远了。