特征提取采用深度学习，分类采用but或其他ML算法。

Question

用深度学习进行特征提取，同时利用传统机器学习或增强技术进行分类，是否合乎逻辑？

如果使用ML算法进行分类，而不是用深度学习方法进行特征提取，那么使用ML算法可以吗?我知道，如果特征工程成功，该模型将自动取得良好的效果。

例如:如果我想做一个文本分类问题，我是否可以建立这样一个模型( RNN块的堆栈+ Adaboost)，其中RNN块执行特征提取，Adaboost进行分类？说得通吗？

我提出了一种采用集成深度学习框架进行特征提取的体系结构，但是，我是否可以将集成框架与传统的ML或增强算法结合起来进行分类呢？会不会是件多余的事？

Answer 1

是的，这是件事。也许看看报纸ConvXGB:一种新的基于XGBoost的分类问题深度学习模型会给你一种直觉--尽管它确实利用了CNN而不是RNN ...。

本文件的贡献如下：

-一种新的分类问题的深度学习模式，称为“ConvXGB”，基于XGBoost和XGBoost之间的结合。- ConvXGB体系结构由多个叠加的卷积层组成，XGBoost作为模型的最后一层。它不同于传统的CNN，因为既没有池层，也没有完全连接的(FC)层。这引入了简单性，减少了计算参数的数量，因为没有必要将FC层的权重带回到以前的层中重新调整权重。- ConvXGB有效地使用了自动特征学习，并比目前用于建模的两个单独模型和其他现存模型(如决策树分类、多层感知器和支持向量分类)更精确地预测了类标签。

Answer 2

在我看来，从假设的角度来看，这是没有意义的。Boosting模型和递归神经网络模型是为不同目的而设计的。如果我们考虑基于自然语言处理的任务，比如你提到的关于文本分类的任务，我们以前是用套袋模型来解决文本分类问题的，然后我们引入了boosting模型，然后我们引入了递归神经网络，现在我们使用了一种注意机制来利用基于变压器的体系结构。如果您在前一阶段已经使用了一个高级模型，它在将文本特征转换为具有代表性的数字特征方面做了大量工作，同时又保留了数据的上下文，那么使用Sigmoid或Softmax层对此类文本进行分类并不是一件昂贵的事情。在这种情况下，引入另一种增强或完全独立的机器学习架构是没有意义的。如果这有意义的话，谷歌研究、微软研究、NeurIPS论文和ICML论文不会带来基于新概念的新架构，而是会随机地将几种机器学习方法叠加在一起，以解决现实世界中的问题。