计算负ELBO

Question

我正在学习关于深度马尔可夫模型的教程，在那里他们试图学习复调数据集。“链接到教程”是：

https://pyro.ai/examples/dmm.html

该模型利用神经网络将跃迁和排放参数化，对于变分推理部分，利用RNN将可观测的x映射到潜在空间。为了确保他们的模型正在学习一些东西，他们试图使ELBO最大化或最小化负ELBO。他们称否定的ELBO为NLL。到目前为止，我知道他们在做什么。然而，下一步使我感到困惑。一旦他们得到他们的NLL，他们除以它的序列长度之和。

times = [time.time()]
for epoch in range(args.num_epochs):
    # accumulator for our estimate of the negative log likelihood
    # (or rather -elbo) for this epoch
    epoch_nll = 0.0
    # prepare mini-batch subsampling indices for this epoch
    shuffled_indices = np.arange(N_train_data)
    np.random.shuffle(shuffled_indices)

    # process each mini-batch; this is where we take gradient steps
    for which_mini_batch in range(N_mini_batches):
        epoch_nll += process_minibatch(epoch, which_mini_batch, shuffled_indices)

    # report training diagnostics
    times.append(time.time())
    epoch_time = times[-1] - times[-2]
    log("[training epoch %04d]  %.4f \t\t\t\t(dt = %.3f sec)" %
        (epoch, epoch_nll / N_train_time_slices, epoch_time))

我不太明白他们为什么要这么做。有人能解释吗？他们在这里平均吗？我会很感激你的见解。

Answer 1

在本教程中，通过优化过程，他们试图减少损失，并最终希望将其与教程中的reference1进行比较。

“最后，我们报告了一些诊断信息。注意，我们用训练集中时间切片的总数来规范损失(这允许我们与参考1进行比较)。”

这是您提供的教程中的内容。

基本上，损失是计算所有迷你批次，他们正在正常化，这样最终的损失将是整个训练数据序列长度的损失，他们最初采取的。

当我们将运行代码时，我们可以在日志生成的诊断报告中的每一个时代之后获得总体损失。