统计分类器训练中参数空间的智能采样

Question

我对一个统计分类问题感兴趣。给定特征向量X，我想将X分类为“是”或“否”。然而，训练数据将在人工输入的基础上实时输入.例如，如果用户看到特征向量X，用户将根据他们的专业知识指定“是”或“否”。

与其在参数空间上进行网格搜索，我更愿意在以前提交的数据基础上更智能地探索参数空间。例如，如果参数空间的一部分中有一个密集的"no's“簇，那么保持那里的采样可能是没有意义的--它可能只是更多的"no's”。

我该怎么做呢？C4.5算法似乎就在这条小巷里，但我不确定这是不是该走的路。

另一个微妙之处是，其中一些特性可能是指定随机数据。假设特征向量中的前两个属性指定了高斯分布的均值和方差。即使所有参数保持不变，用户分类的数据也可能有很大的不同。

例如，假设该算法显示加高斯噪声的正弦波，其中高斯分布由特征向量的均值和方差指定。用户会被问到“这个图是否代表正弦波？”两个非常相似的均值或方差值可能仍然有显著不同的图表。

是否有一种处理此类案件的算法？

Answer 1

您所说的设置适合于主动学习的广泛领域。本主题讨论模型建立的迭代过程，并选择接下来要查询的训练示例，以优化模型性能。在这里，每个数据点的培训成本大致相同，并且在学习阶段没有额外的可变奖励。

但是，在每次迭代中，如果您有一个变量奖励(这是所选数据点的函数)，则需要查看多兵种和强化学习。

您正在讨论的另一个问题是如何找到正确的特性来表示数据点，并且应该单独处理。