为什么没有在无监督学习中使用DropOut？

Question

所有或几乎所有使用辍学的论文都在使用它进行监督学习。它似乎可以很容易地用于规范深度自动编码器、RBM和DBN。那么，为什么没有在无监督的学习中使用辍学呢？

Answer 1

辍学被用于无监督的学习中。例如：

张仲飞:稀疏图链接预测矩阵分解和自动编码器的退出训练(阿西夫，2015年12月14日)

Answer 2

标记数据相对较少，这就是为什么监督学习往往受益于强大的正则化，如DropOut。

另一方面，未标记的数据通常很丰富，这就是为什么通常不需要DropOut，而且可能是有害的(因为它降低了模型容量)。

即使是像GPT-3这样的巨型模型(175 e9参数)在300 e9令牌上更新后仍然不适合。