如何在Flux.jl中初始化权重

Question

我想为我的模型中的特定层初始化一些权重和偏差。这在Flux.jl中是如何实现的？

Answer 1

大多数层函数，如Dense和Conv，都考虑了权重和偏差。您可以通过执行? Dense或? Conv来查看每个函数的定义，例如，可以通过执行以下命令简单地调用密集函数：Dense(W::AbstractMatrix, [bias, σ])和对于Conv函数，如下所示：

  julia> weight = rand(3, 4, 5);
  
  julia> bias = zeros(5);
  
  julia> c1 = Conv(weight, bias, sigmoid)  # expects 1 spatial dimension
  Conv((3,), 4=>5, σ)

其中，sigmoid是乙状结肠功能的语法糖，通常表示为σ()。