不处理玩具问题的变压器结构

Question

我的变压器没在处理玩具问题。

玩具问题

输入:随机整数序列，一次热编码.例子：

[[0, 0, 0, 1, 0, 0, 0, 0, 0, 0],
 [0, 0, 1, 0, 0, 0, 0, 0, 0, 0],
 [0, 0, 0, 0, 0, 0, 0, 0, 1, 0],
 [0, 0, 0, 0, 0, 0, 1, 0, 0, 0],
 [0, 0, 0, 1, 0, 0, 0, 0, 0, 0]
]

输出:如果第一个随机整数< 5，则为1，否则为0。对于给定的示例，输出为1。

问题

我的变压器在这个玩具问题上运行得很好。然而，以更大的规模运行( 800维上的一次热编码)不再有效:网络总是输出类似的结果，不管输入。

注意:为了获得类平衡，我确实将输出的条件更改为x < 800。

为什么我的变压器体系结构不能处理玩具问题的这种变化?

另一个问题

我还尝试使用两个输入(使用size = 10类似地生成)，并根据这两个输入生成输出(如果两个输入的第一个随机整数都小于5或两者都> 5，则为1)，否则为0 )。

Answer 1

我不确定，但也许多余的零才是罪魁祸首。我想你得到的结果只是偏见的积累。我建议使用嵌入层将你的单一热向量转换成密集矢量。