使用深度学习技术的监督学习(文档分类)

Question

我在读关于深度学习的论文。其中大多数都是指无监督学习。

他们还说，神经元是使用无监督RBM网络进行预训练的。然后，使用反向传播算法(有监督)对它们进行微调。

那么，我们可以使用深度学习来解决监督学习问题吗？

我正在尝试找出深度学习是否可以应用于文档分类问题。我知道有相当好的分类器可用。但我的目标是找出我们是否可以使用深度学习来达到这个目的。

Answer 1

简而言之-是的，它可以，也是经常以监督方式使用的。正如Ben J所描述的那样-架构的“深度”以无监督的方式使用，以便创建数据的非常抽象的表示，稍后可以用作预处理层(无微调)或用作神经网络的初始化(具有类似Hinton的微调)。特别是，您可以对文本使用这种方法。

Hinton最近发表了一篇关于使用DBMs对文本文档进行建模的有趣文章：http://www.cs.toronto.edu/~rsalakhu/papers/uai13.pdf

在网上有很多可用的资源，特别是pylearn库实现了这样的方法，包括“经典的”DBN (深度信念网络) http://deeplearning.net/tutorial/DBN.html

此外，实际上也可以仅使用堆叠的RBM进行分类，这种模型称为“分类RBM”。欲了解更多详情，请点击此处：http://machinelearning.org/archive/icml2008/papers/601.pdf。

Answer 2

深度学习是关于学习未知概念的，因此通常用于在数据集中寻找模式。这是无监督的，因为这些模式不一定是先验已知的。然而，在监督学习中，你所需要的模式类型很容易以训练模式的形式先验地理解，这些训练模式适合你试图学习的数据。这些模式成为根据数据拟合模型(例如，使用反向传播训练的神经网络)的基础。没有对新概念和组件的真正发现。因此，从这个角度来看，我会说不，深度学习不能应用于解决监督学习问题。

“他们还表示，这些神经元是使用无监督RBM网络进行预训练的。之后，它们会使用反向传播算法(有监督)进行微调。”

在没有阅读你所读到的内容的情况下，也许他们从一种无监督算法开始寻找最有趣的数据，并在这样做的过程中执行了一种形式的降维，从而使用监督算法生成比原始数据更容易训练的数据。

Answer 3

除了上面提供的很好的参考之外，Yann Le Cunn的团队还有另一篇论文，它只通过编码字符来进行文本分类，而不使用任何外部特征提取库。它的工作原理很简单，就是在字符级编码。他们声称98%的准确率。

http://arxiv.org/pdf/1502.01710v2.pdf