多状态标称变量建模

Question

我在阅读有关神经网络的文章时发现：“多状态标称变量更难处理。ST神经网络具有转换两状态和多状态标称变量的功能，以便在神经网络中使用。不幸的是，具有大量状态的标称变量将需要大量的数值变量进行1/N编码，这会增加网络规模，并使训练变得困难。在这种情况下，使用单个数值索引对标称变量建模是可能的(尽管不令人满意)；更好的方法是寻找一种不同的方式来表示信息。”

这正是我在构建输入层时所发生的事情。One-of-N编码使得模型的设计变得非常复杂。然而，上面提到你可以使用数字索引，我不确定他/她是什么意思。表示信息的更好方法是什么？神经网络可以解决具有多状态标称变量的问题吗？

参考资料：http://www.uta.edu/faculty/sawasthi/Statistics/stneunet.html#gathering

Answer 1

解决这个任务对于建模通常是至关重要的。根据这个名义变量分布的复杂性，在它的值和某个n的R^n之间找到一个合适的嵌入似乎非常重要.

这种嵌入的一个最成功的例子是word2vec，其中获得了单词和向量之间的函数。在其他情况下-您应该使用现成的解决方案(如果存在)或通过表征学习准备自己的解决方案(例如，通过自动编码器或RBM)。