对于将数据分类为N类，是否有一种替代使用no no分类器的方法？

Question

TL博士:有比“是-否”分类器更复杂的分类器吗？

我先说，我没有一个具体的项目，这是一个我一直想知道的技术问题。

我研究过一些机器学习应用程序，原因不一而足。所有这些项目的目的都是将数据分类到N个类中，并且它们都使用no-没有分类器(如果这就是它们所称的)。这些分类器中的每一个给出一个数据的分数(0到1，或-1到1)，它对应于分类器所训练的类的相似性。然后由程序来使用这些分数来确定最佳的分类。

我在名义数据和连续数据上都看到了这种情况，最终分类的实现各不相同。例如，我曾经写过一个小的文档语言标识符，其中分类器被训练成英语、法语、德语等，无论哪个分类器得分最高。这对我来说很有意义。

另一个项目是连续分类数据，大部分从0到1.2，但有些数据高达6。我们制作了6个左右的分类器，并将它们分配到桶中: 0-0.2，0.2-0.4，.以及1.0及以上。一旦所有的分类器返回某一数据，然后我们拟合一个二次的分数，并以峰值为结果。这让我很不舒服，但我不知道为什么。

似乎应该有一个更好的方法，而不仅仅是轮询一组是的-没有分类器，并试图根据某些算法作出决定。举一个愚蠢的例子，考虑一个系统来判断图片是洋葱还是蘑菇。(这是我想到的第一件事。)我认为，物体越像洋葱，就越不像蘑菇，从本体论的角度来看，我想要一种反映这一点的分类方法。如果我有两个是的-没有分类器，没有考虑到洋葱反对蘑菇，我如何处理一个图片，从两个高分？有什么方法可以得到一个单一的，蘑菇或洋葱分类器，以某种方式知道这两类植被之间没有重叠？或者，我是否可以指望在没有任何特殊干预的情况下，用真实的数据训练“是-否”分类器来反映这一点？

Answer 1

有两大分类流派：

1) Discriminative --在这里，我们尝试从训练示例中学习决策边界。然后，根据测试实例位于空间的哪一部分，根据决策边界的确定，我们为其分配了一个类。最先进的算法是支持向量机，但是如果您的数据不能用一条线分隔(例如，它是由圆可分离的)，则需要内核。

对多类支持向量机的修改(有很多种方法，这里有一个)：

让jth (k的)训练示例xj在I (of N)类中。然后它的标签是yj = i。

( a)特征向量:如果xj =属于I类(of N)的训练示例，则对应于xj的特征向量为phi(xj，yj) =0.X .。0

• 注:X位于第一个“位置”。phi共有D*N分量，其中每个示例都有D特征，例如洋葱的图片D= 640*480灰度整数。
• 注意:对于其他类pi.e= p，phi(xj，y)在位置p的特征向量中有"X“，所有其他零。

b)限制因素:最小化W^2 (如Vanilla SVM)，以便：

( 1)除y1外，所有标签y: W.phi(x1，y1) >= W.phi(x1，y) +1

( 2)除y2外，所有标签y: W.phi(x2，y2) >= W.phi(x2，y) +1

..。

( k)除yk外，所有标签y: W.phi(xk，yk) >= W.phi(xk，y) +1

• 注意:这里的直觉是W.phi(xj，yj)比所有其他W.phi(xj，y1)，W.phi(xj，y2)等等都要多。

2) 生成--在这里，我们假设(这可能是无稽之谈)，每个示例都是由该类的概率分布(例如对男性人脸的高斯分布和在实践中工作良好的女性面孔的概率分布)生成的&我们试图通过计算对应于该类的训练示例的均值、协方差来了解每个分布的参数--均值、协方差。然后，在一个测试示例中，我们看到了哪种分布给出了最高的概率并进行了相应的分类。

都不使用N是-没有分类器。

判别方法在实际分类中效果较好，但不能对概率答案进行建模。为了使优化步骤(最小化W^2)收敛，还需要大量的训练示例。有一种将两者结合在一起的技术，即避免核，称为最大熵判别。

要回答你的另一个问题：

我该怎么处理一张能同时获得高分的照片呢？有什么方法可以得到一个单一的，蘑菇或洋葱分类器，以某种方式知道这两类植被之间没有重叠？

这更像是输入数据的问题，而不是学习算法本身的问题，它只是在一个数字矩阵上工作。它可以反映该领域的噪音/不确定性(也就是人类能把蘑菇和洋葱区分得很好吗？)。这可能是由一个更大/更好的(培训)数据集解决的。或者你选择了一个不好的分布模型，在生殖的情况下。

在分类之前，大多数人都会在一个叫做特征选择的阶段对原始图像进行预处理。一个特征选择技术可以是捕捉蔬菜的轮廓，因为蘑菇和洋葱有不同的形状，其余的图像可能是“噪音”。在其他领域，如自然语言处理，您可以删除介词，并保留不同名词的计数。但是有时候性能可能不会提高，因为学习算法可能不会考虑所有的特性。这真的取决于你想要捕捉的东西-创造力。特征选择算法也是存在的。

哥伦比亚大学的托尼·杰巴拉课程是机器学习的好资源

Answer 2

你的例子背后的想法是，每个问题都提供了关于一个以上分类的信息。如果您可以为这些问题及其结果建立某种条件概率，那么您也可以为每个类建立一个置信度。

Answer 3

听起来好像你在问题中特别提到了决策树。决策树是最常见的分类器类型之一；它们能够处理多个类别、分解和连续的数据以及丢失的值。基本决策树算法称为ID3算法，是一种流行的改进C4.5算法。决策树结果通常可以通过助推得到进一步的改进。