我被告知要实施神经网络来做预测。因此,我创建了一个带有反向传播算法的前馈MultiLayer Perceptron,它工作得很好。但我需要越来越快地得到结果。因此,本文研究了遗传算法在训练过程中对权值的优化。
你建议如何编码染色体?
我已经把它作为一张随机生成的权重表(-100,100),但它并没有给出非凡的结果。我猜问题在于,即使变异的概率很高,生成一个随机的权重表也限制了解的空间。
你知道如何对染色体中的权重进行编码才能让遗传算法发挥更大的作用吗?
提前谢谢。
发布于 2016-08-07 00:43:07
简而言之(注释中已经提到了):不做这个。遗传算法是求解不能有效优化问题的简单优化器,因为它们是慢、启发式的,需要大量的资源。特别是,他们不应该起诉来训练一个神经网络,我们有许多非常有效的训练方法(SGD,Rmsprop,Adam)。但是,它们可以用于优化一些更抽象的部分,如网络结构等,在这些部分中,人们无法计算有效的梯度,甚至不能使用其他定义良好的数学过程。
发布于 2017-05-09 10:37:46
如果您想要使用任何进化算法来优化神经网络的权重,那么最好的方法是学习一次使用反向传播的网络,然后使用权值最大值和最小值作为编码限制。假设权重分布在-1.0988333,1.2982293之间,我将取-2,2/(-2,2),这样就可以在这个区间产生染色体,从而更倾向于更好地解决问题,并且可以通过算法进一步优化。在生成最优解时,间隔为-100,100将是缓慢的。当然,在获得最优解的过程中,您如何定义您的适应度函数?一种方法是获得给定权重的最小均方根值。
https://stackoverflow.com/questions/38785019
复制相似问题