无法理解特征提取

Question

我正在学习人工智能课程，我们刚刚进入了深入学习的章节。说到经典机器学习模型和深度学习模型的区别，最有利于神经网络的一点是它不需要特征提取阶段。这是因为它可以直接在数据上隐式地学习什么是最重要的特性，我们给它作为输入。相反，机器学习系统在开始训练之前，严重依赖于特征提取。

我在这个网站上找到了一些关于这个主题的有用的问题，但是我还是有点不明白什么是特征提取。所以我请我的老师给我举个例子。

他给了我这个例子:假设我们有一个巨大的图像数据集，我们希望根据图片中至少有一棵树的存在与否来对它们进行分类。因此，如果图像包含一棵树，它将被归类为1，否则为-1。

• 在神经网络的情况下，我们简单地将图像用标签传送到网络中。就这样。网络将了解树是什么，并将优化其权重以检测它们。
• 相反，如果我们想要使用机器学习算法，除了标记的图像之外，我们还必须告诉模型树实际上是什么。这一部分是特征提取阶段。

我不明白我怎么能告诉一个模型，树在一个图像中是什么。我认为发现它是机器学习算法任务的一部分。

Answer 1

初注

据我所知，人们使用特征提取一词的方式可能略有不同：

• 参考用于降维的自动方法，这涉及到特征的转换(而不仅仅是选择特征子集)。
• 参考设计和工程设计的一般过程，在对这些特征进行训练/测试之前，建立一个模型。

请注意，我不是百分之百确定我自己使用的术语是标准的。(但我认为这与你所问的问题无关)。

答案

在您提到的上下文中使用，这个术语当然是指功能工程的一般过程(上面第二点)。

在传统的ML模型中，模型直接使用特征作为训练算法的特征。例如，决策树分类模型试图找到特征中的最佳条件来区分数据。这意味着算法选择单个特征并直接使用其值范围来构建条件，如下所示：

 if color == 'green' then go to subtree 1 else go to subtree 2

因此，模型可以使用的信息类型受到算法和提供给它的特征的严格限制:没有办法考虑任何不能作为特征直接获得的信息。因此，特征工程阶段至关重要。例如，在文本分类中，有很多可供选择的:提供单词频率或TFIDF作为特征？提供所有单词还是删除停止词？勒马提兹还是不？添加POS标签？这些只是一些非常标准的问题，具体的任务可能需要非常详细的分析。重要的是，不可能仅仅提供你能想到的所有功能，因为这几乎肯定会导致模型过度适合，因为大量的功能。一般来说，在这一阶段，目标是给模型最好和最精确的线索，以帮助它作出正确的预测，也避免给它太多不相关的特点，以防止过度拟合。

这是DL不需要的阶段:由于一个更加复杂的体系结构和算法过程，DL模型本身可以选择并组合它需要的特性以获得良好的性能。

我认为发现它是机器学习算法任务的一部分。

当然，但是在传统的ML中，为了让模型发现特定任务中最重要的模式，必须以一种最大限度地利用模型发现这些模式的方式来准备这些特性。比喻:如果老师告诉他们的学生为了考试修改课本的第63页，学生的表现很可能会比他们不知道题目，并且需要修改整本教科书的情况要好。