序列推理的深度学习

Question

我想使用深度学习技术来执行比隐马尔可夫模型(这是一个浅层模型)更好的推理任务。我想知道什么是最先进的深度学习模式来取代隐马尔可夫模型(HMM)？这套设备是半监督的。训练数据X(t)，Y(t)是一个时间序列，具有显著的时间相关性。此外，还有大量的未标记数据，即简单X(t)和没有Y(t)。在阅读了许多论文后，我缩小了以下模型->有条件限制的Boltzmann机器(Ilya论文)，并使用深度信念网络进行无监督的预训练(或使用变分自动编码器进行预训练)。我对这个领域非常陌生，我想知道这些技术是否已经过时了。

Answer 1

“我想知道什么是最先进的深度学习模式，以取代隐马尔可夫模型(HMM)。”

目前，基于递归神经网络( RNN )和基于长短时记忆( LSTM )的DNNs是目前的研究热点。从命名实体识别(https://www.quora.com/What-is-the-current-state-of-the-art-in-Named-Entity-Recognition-NER/answer/Rahul-Vadaga)、解析(https://arxiv.org/pdf/1701.00874.pdf)到机器翻译(https://arxiv.org/pdf/1609.08144.pdf)，它们是解决许多排序问题的最佳方法。这些DNN也被称为序列模型(例如，seq2seq，其中输入和输出都是类似机器翻译的序列)

“无监督的预培训”

预训练不再流行(对于监督的ML问题)，因为您可以使用随机的并行化重新启动，因为您现在有更多(而且更便宜)CPU。

后面添加了以下内容

最近的一篇论文(Networks和Iryna用于序列标记任务的最优LSTM网络)对常见seq2seq任务：https://arxiv.org/pdf/1707.06799.pdf做了很好的比较。

绝对值得一读。