用于异常检测的自动编码器增量学习

Question

我想在每分钟接收到的数据上逐步训练我的预训练的自动编码器模型。基于这线程，对model.fit的连续调用将逐步训练模型。然而，我的模型的重建误差和总体精度似乎比最初的更差。代码如下所示：

autoencoder = load_pretrained_model()

try:
   while True:
      data = collect_new_data()
      autoencoder = train_model(data) # Invokes autoencoder.fit()
      time.sleep(60)
except KeyboardInterrupt:
   download_model(autoencoder)
   sys.exit(0)

当我的自动编码器被训练的时候，平均重建误差是0.0206，但是经过30分钟的增量训练，它已经变成0.3737了。

Answer 1

从您的问题中可以看出，您是如何分割数据以进行模型性能评估的。在我看来，你只是在评估火车上的重建错误。

如果我是对的，这是完全正常的，这意味着重建误差正在增加，确实添加在线数据，你移动到右边的blu曲线下面。

您应该做的是定义一个验证方法来优化您的模型，而不是检查测试集中的在线度量。如果模型经过良好的训练，您将看到您的培训错误增加，您的测试错误减少。