弹性权重合并算法在Keras中的实现

Question

我正在开发一个基于LSTM的模型来预测日志异常。我的模型架构如下：

______________________Layer (type) Output Shape Param # ================================================================= 
lstm (LSTM) (None, 5, 1555) 9684540 ______________________ 
lstm_1 (LSTM) (None, 1555) 19350420 ______________________ 
dense (Dense) (None, 1024) 1593344 ______________________ 
dense_1 (Dense) (None, 1024) 1049600 _______________________ 
dense_2 (Dense) (None, 1555) 1593875
================================================================= 
Total params: 33,271,779

我想继续训练，避免灾难性的遗忘，我在EWC上看到了这个paper。是的，我将在增量训练中得到完全不同的日志文件，所以目前正在发生灾难性的遗忘。我在互联网上找到了pytorch和tensorflow的实现。我对它们不是很熟悉，我正在寻找一些tensorflow-2/keras的实现。我确实理解这篇论文，但不知道如何实现它。是否可以在keras中实现，如果可以，如何实现？欢迎任何其他简单的持续学习方法！

Answer 1

我最近想在分布式优化设置中应用相同的算法(EWC)。我找不到tensorflow-2实现。所以我从头开始实现它。你可以在这里找到- https://github.com/stijani/elastic-weight-consolidation-tf2.git。其中包括一个演示笔记本，用于演示MNIST数据集的代码用法和示例结果。