叠加稀疏自动编码器参数

Question

我工作的堆叠稀疏自动编码器使用MATLAB。有谁能建议堆叠稀疏自动编码器参数的值：

              L2 Weight Regularization ( Lambda)                  Sparsity Regularization (Beta)                  Sparsity proportion (Rho).

Answer 1

重要的是要认识到，对于超参数，没有明显的值。最优值会有所不同，这取决于您正在建模的数据:您必须在数据上尝试它们。

从sparseAutoencoder，Lambda (λ)是重量衰减系数，它阻止重量达到大的值，因为它可能过适合。权重衰减项(或权重正则化项)是成本函数的一部分，如下面解释的稀疏项。

Rho (ρ)是一种稀疏约束，它控制隐层的平均激活次数。它包括使自动编码器工作，即使相对较多的隐藏单元相对于输入单元。例如，如果输入大小为100，隐藏大小为100或更大(甚至更小，但接近100)，则可以构造输出而不丢失，因为隐藏单元可以学习标识函数。β(β)是稀疏项的系数，是成本函数的一部分。它控制了稀疏项的相对重要性。Lambda和Beta在成本函数中指定了它们的术语的相对重要性。

示例:您可以在此示例上获取参数值，如下所示。

sparsityParam = 0.1;   % desired average activation of the hidden units.
                       % (This was denoted by the Greek alphabet rho, which looks like a lower-case "p",
                       %  in the lecture notes). 
lambda = 3e-3;         % weight decay parameter       
beta = 3;              % weight of sparsity penalty term

但是，我想再次提醒您，对于超参数，没有明显的值。