在LSTM中同时输入词级和字符级嵌入以进行PoS标注

Question

我指的是这篇名为"Learning Character-level Representations for Part-of-Speech Tagging“的研究论文，作者说：”提出的神经网络使用卷积层，可以从任何大小的单词中有效地提取特征。在标记时，卷积层为每个单词生成字符级嵌入，即使是词汇表之外的单词也是如此。“

我正在学习如何使用这种方法构建一个高效的PoS标记器，但我无法可视化输入格式。

例如：

x_train, y_train, x_test, y_test = load_dataset()

x_train和y_train的实例应该是什么样子的？

我不明白如何将word和char嵌入(它们相互依赖)放在一个模型中，这样它就可以同时了解它们。

我计划将此输入数据集放入LSTM模型中，如下所示：

M = Sequential()
M.add(Embedding())
M.add(LSTM())
M.add(Dropout())
M.add(LSTM())
M.add(Dropout())
M.add(TimeDistributed(Dense()))
M.compile(loss='categorical_crossentropy', optimizer=adam, metrics=['accuracy'])

任何在这个领域有经验的人可以帮助分享一些方法或见解，让我走上正确的道路吗？

我尝试过使用手工特征(total_terms, term, is_first, is_last, is_capitalized, is_all_caps, is_all_lower, prefix-1, prefix-2, prefix-3, suffix-1, suffix-2, suffix-3, prev_word, next_word)构建PoS标记器，但这次我想构建一个没有它们的模型。

Answer 1

参考这个link，我想你一定是在寻找这个页面上提到的那种模型。