关于keras示例pretrained_word_embeddings的几个问题

Question

我对Keras示例嵌入有几个问题，以提高对它如何工作的理解。

1. 在这种模型中使用dropout层是否合理？
2. 最后的MaxPooling1D层每次都要覆盖所有的输出形状？在原来的模型中，最后一层输出为35，我们设置了相同的35值的最大值。
3. 如果说值128 (核数)的增加会提高精确度，我说得对吗？
4. 添加额外的conv层以提高精度是否有意义？即使这样会缩短模型的训练阶段。

谢谢!

Answer 1

因此，基本上，你的问题有一个简单的答案-你需要测试它：

1. 添加dropout通常是一件好事。介绍了随机化和正则化的合理数量。缺点是您需要设置其参数的正确值--这有时可能需要一段时间。
2. 在我看来，最后一个池层中的MaxPooling1D值是这样设置的，目的是降低下一个层输入的维度。人们可能会检查一下，例如，像前一层中的数字的一半这样的值(在所呈现的情况下--例如18) --它只会将输入的大小相加到下一层--是否可以带来任何改进。
3. 这很难说--例如，如果你有一小部分数据，而且结构非常严格--那么很多参数可能会严重损害你的训练。最好的方法是在网格或随机搜索范式中测试不同的参数值。有人认为随机搜索做得更好:)