如何将将空间一分为二的算法(如支持向量机)推广到使用集合中的标签来标记数据?
例如,支持向量机通过构造一个超平面来操作,然后超平面上的东西取一个标签,而它下面的东西取另一个标签。
这是如何推广的,从而使标签例如是整数或其他任意大的集合?
发布于 2012-06-15 18:19:35
一种选择是“One -vs-all”方法,在这种方法中,您为要划分到的每个集合创建一个分类器,并选择概率最高的集合。
例如,假设您希望使用{1,2,3}中的标签对对象进行分类。然后,您可以创建三个二进制分类器:
如果在新的数据X上运行这些分类器,那么它们可能会返回:
的几率
根据这些输出,您可以将X分类为最有可能来自3类。(概率加起来不是1-这是因为分类器不知道彼此)。
如果您的输出标签是有序的(使用某种有意义的排序,而不是任意的排序)。例如,在金融领域,您希望将股票分类为{BUY,SELL,HOLD}。虽然你不能合法地对这些数据(数据是ordinal rather than ratio data)执行回归,但你可以分配-1,0和1的值来卖出,持有和购买,然后假装你有比率数据。有时,这可以提供良好的结果,即使它在理论上并不合理。
发布于 2012-06-17 01:21:53
另一种方法是Cramer-Singer方法("On the algorithmic of multiclass kernel-based vector machines")。Svmlight在这里实现它:http://svmlight.joachims.org/svm_multiclass.html。
对无限集合(如整数集合)的分类称为有序回归。通常,这是通过将一系列连续的值映射到集合的元素上来实现的。(参见http://mlg.eng.cam.ac.uk/zoubin/papers/chu05a.pdf,图1a)
https://stackoverflow.com/questions/11048739
复制相似问题