什么是测试变压器架构的好玩具问题？

Question

我正在测试变压器和变压器架构的各种变体。但是，关于全语言任务的培训是一件很费时的事情。什么是好的玩具问题，以测试变压器(或其中的替代)是否正在工作？我正在寻找一些简单的问题，这些问题最好能被综合创造出来，并且可以用非常小的设置(几层，小嵌入大小等)进行训练。在短时间内。理想情况下，这些问题应该发挥变压器的优势，但对于一个完全连接的前馈网络来说，这是很难解决的。那些只适用于注意力层的任务也是有用的。

Answer 1

对于MT，我总是使用Multi30k数据集，英语到德语进行调试。它只有30k的句子，这是简单和模板样，与正确配置的变压器模型，你应该得到大约30 BLEU点在2分钟内。

我的经验是，玩具问题，如复制，大写，颠倒字符顺序的文字太简单，模型可以学习他们，尽管严重的错误，防止模型的实际问题的培训。

Answer 2

我推荐史丹福NLP组中的预处理数据集用于语言翻译：https://nlp.stanford.edu/projects/nmt/。

有三个大小分别为0.13Mb、4.5Mb和15Mb的数据集--每个人都有:)

对于普通FF网络来说，翻译是一个很难解决的问题，并且由于注意力机制的影响，变压器也有了很大的改进。

还请参阅注解变压器和图示变压器中对这些想法的相关解释。

Answer 3

文本反转任务是一个典型的玩具问题，不仅对变压器，而且对一般的seq2seq模型。

在该任务中，您以任何语言中的一段文本为源，以相反顺序的单词为目标。