ELMo -如何训练可训练参数

Question

我是tensorflow-hub的新手，偶然遇到了ELMo模型(https://www.tensorflow.org/hub/modules/google/elmo/2)。

根据原始论文，ELMo表示是隐藏状态激活的加权平均，这些权重可根据手头的任务进行训练，即特定于任务。不出所料，当我使用tf.trainable_variables()时，我可以看到4个可训练参数。如何在tensorflow中准确地训练这些变量？

他们只是提到这些重量是可训练的。但是谁来训练它呢？我还是ELMo模型自己训练它呢？这篇论文似乎建议我应该训练它。如果是这样，我如何在tensorflow中训练它？

Answer 1

您可以首先使用trainable=True将模块导入到您的模型中，然后像对任何其他TF模型一样对模型执行train操作。在此训练过程中，还将训练模型、导入模块的一部分的权重。您也可以使用this tutorial作为一个很好的起点，只需用ELMo替换nnlm嵌入即可。