如何解释NEAT-Python的输出

Question

我正在学习使用NEAT算法的神经网络。为了理解结果，我尝试使用Excel手工重现一些值的计算结果。

运行NEAT-Python的XOR演示，我得到了以下结果和相应的图形：

Fitness: 3.93262784315
Nodes:
        0 DefaultNodeGene(key=0, bias=-4.28711170619, response=1.0, activation=sigmoid, aggregation=sum)
        1197 DefaultNodeGene(key=1197, bias=-1.20497802851, response=1.0, activation=sigmoid, aggregation=sum)
Connections:
        DefaultConnectionGene(key=(-2, 0), weight=-1.83815166978, enabled=True)
        DefaultConnectionGene(key=(-2, 1197), weight=1.7368731859, enabled=True)
        DefaultConnectionGene(key=(-1, 0), weight=5.72212927441, enabled=True)
        DefaultConnectionGene(key=(-1, 1197), weight=-1.30171417401, enabled=True)
        DefaultConnectionGene(key=(1197, 0), weight=9.27762332932, enabled=True)

Output:
input (0.0, 0.0), expected output (0.0,), got [5.485892844789737e-10]
input (0.0, 1.0), expected output (1.0,), got [0.9999970321654681]
input (1.0, 0.0), expected output (1.0,), got [0.9992352946960754]
input (1.0, 1.0), expected output (0.0,), got [0.2595603437828634]

Graph of Neural Network

虽然我理解NN的基础知识，但我无法获得命令行的结果:首先，我以(0，0)为例计算节点1197的值：

-1.3 * 0 +1.7 * 0 -1.2 (bias)
= -1.2
sigmoid(-1.2) = 0.231475... (result of node 1197)

然后是最终结果：

5.7 * 0 +9.3 * 0.231475 (result node 1197) -1.8 * 0 -4.3 (bias)
=-2.147282...
sigmoid(-2.147282) = 0.104585...

这肯定不等于预期的5.485892844789737e-10。有人能在我的计算中发现错误吗？

Answer 1

对于每个遇到同样情况的人:我逐行调试了代码，发现sigmoid激活函数的定义如下：

def sigmoid_activation(z):
    z = max(-60.0, min(60.0, 5.0 * z))
    return 1.0 / (1.0 + math.exp(-z))

我不能完全确定这个“规范化”的目的，但是这个5的因素造成了我的困难。注释掉第一行后，一切都像预期的那样工作。