文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布
社区首页 >专栏 >从程序员的角度看神经网络的激活功能

从程序员的角度看神经网络的激活功能

作者头像
Lethe丶L
发布于 2018-01-29 19:08:02
发布于 2018-01-29 19:08:02
1.6K0
举报

这篇文章是系列文章的第二部分，讨论使用Java以简单易懂的方式编程神经网络的方法。

在之前的文章，我们定义了神经网络的主要组件，并使用Java作为编程语言来设计它们。在这篇文章中，我们将深入探讨激活功能（也称为传递功能），这也是神经网络的一部分。

为了回顾本系列的第一部分，人造神经元是输入端的信号收集器，输出端的激活单元触发信号，将信号转发到其他神经元，如下图所示：

人造神经元
人造神经元

人造神经元接收一个或多个输入并将它们相加以产生输出或激活。通常，每个节点的总和被加权，总和通过一个激活函数。在大多数情况下，非线性 激活函数允许这种网络仅使用少量节点来计算非平凡问题。

在由生物启发神经网络中，激活函数通常是代表细胞中动作电位发放速率的抽象。使用Java作为编程语言，可以使用激活函数接口来设计此抽象：

代码语言：javascript
复制
/**
代码语言：javascript
复制
 * 神经网络的激活功能界面
代码语言：javascript
复制
 */
代码语言：javascript
复制
public interface ActivationFunction {
代码语言：javascript
复制
/**
代码语言：javascript
复制
 * 根据输入神经元输出的总和进行计算。
代码语言：javascript
复制
 *
代码语言：javascript
复制
 * @param summedInput
代码语言：javascript
复制
 *            神经元的输出总和分别为连接输入神经元
代码语言：javascript
复制
 *
代码语言：javascript
复制
 *
代码语言：javascript
复制
 * @return 基于输入和的输出计算
代码语言：javascript
复制
 */
代码语言：javascript
复制
double calculateOutput(double summedInput);
代码语言：javascript
复制
}

这个接口的实现将提供一种轻松实验和替换各种类型的激活函数的方法。开始实施吧！

步骤功能

激活函数的最简单的形式是二进制 - 神经元或者正在发射或者不发射。该激活函数的输出 y是二进制的，取决于输入是否满足指定的值 θ是发送“信号”，即如果激活达到阈值，则输出设置为1。

这个功能用于感知器。它通过超平面执行输入空间的划分。这在网络的最后一层用来执行输入的二进制分类是特别有用的。

代码语言：javascript
复制
/**
代码语言：javascript
复制
 * 阶跃神经元激活函数，这个激活函数的输出y是二进制， 这取决于输入是否符合指定的阈值：0，如果激活达到
代码语言：javascript
复制
阈值，则发送“信号”，即输出设置为1。
代码语言：javascript
复制
 *
代码语言：javascript
复制
 */
代码语言：javascript
复制
public class StepActivationFunction implements ActivationFunction {
代码语言：javascript
复制
  /**
代码语言：javascript
复制
   * 如果输入高于或等于阈值，则输出值1d.
代码语言：javascript
复制
   */
代码语言：javascript
复制
  private double yAbove = 1d;
代码语言：javascript
复制
  /**
代码语言：javascript
复制
   * 如果输入是低于阈值，则输出值0d。
代码语言：javascript
复制
   */
代码语言：javascript
复制
  private double yBellow = 0d;
代码语言：javascript
复制
  /**
代码语言：javascript
复制
   * 这个激活函数的输出是二进制的，这取决于是否输入符合指定的阈值.
代码语言：javascript
复制
   */
代码语言：javascript
复制
  private double threshold = 0d;
代码语言：javascript
复制
  /**
代码语言：javascript
复制
   * {@inheritDoc}
代码语言：javascript
复制
   */
代码语言：javascript
复制
  @Override
代码语言：javascript
复制
  public double calculateOutput(double summedInput) {
代码语言：javascript
复制
      if (summedInput >= threshold) {
代码语言：javascript
复制
          return yAbove;
代码语言：javascript
复制
      }
代码语言：javascript
复制
      else {
代码语言：javascript
复制
          return yBellow;
代码语言：javascript
复制
      }
代码语言：javascript
复制
  }
代码语言：javascript
复制
}

线性组合

线性组合是将神经元的加权求和输入与线性相关的偏差相加以构建神经元的输出。许多这样的线性神经元执行输入向量的线性变换。这通常在网络的第一层更有用。

代码语言：javascript
复制
/**
代码语言：javascript
复制
* 线性组合激活函数实现，输出单元为：它的输入与一个偏置项的加权和。
代码语言：javascript
复制
 */
代码语言：javascript
复制
public class LinearCombinationFunction implements ActivationFunction {
代码语言：javascript
复制
  /**
代码语言：javascript
复制
   * 偏差值
代码语言：javascript
复制
   */
代码语言：javascript
复制
  private double bias;
代码语言：javascript
复制
  /**
代码语言：javascript
复制
   * {@inheritDoc}
代码语言：javascript
复制
   */
代码语言：javascript
复制
  @Override
代码语言：javascript
复制
  public double calculateOutput(double summedInput) {
代码语言：javascript
复制
  return summedInput + bias;
代码语言：javascript
复制
  }
代码语言：javascript
复制
}

Sigmoid函数

Sigmoid函数（也是对数函数）使用以下公式计算：

Sigmoid函数
Sigmoid函数

在这个公式中，加权输入乘以斜率参数。

代码语言：javascript
复制
/**
代码语言：javascript
复制
 * Sigmoid激活功能。计算基于：
代码语言：javascript
复制
 * y = 1/(1+ e^(-slope*x))
代码语言：javascript
复制
 */
代码语言：javascript
复制
public class SigmoidActivationFunction implements ActivationFunction {
代码语言：javascript
复制
  /**
代码语言：javascript
复制
   * 斜率参数
代码语言：javascript
复制
   */
代码语言：javascript
复制
  private double slope = 1d;
代码语言：javascript
复制
  /**
代码语言：javascript
复制
   *用斜率参数创建S形函数。
代码语言：javascript
复制
   *
代码语言：javascript
复制
   * @param slope
代码语言：javascript
复制
   *            slope parameter to be set
代码语言：javascript
复制
   */
代码语言：javascript
复制
  public SigmoidActivationFunction(double slope) {
代码语言：javascript
复制
  this.slope = slope;
代码语言：javascript
复制
  }
代码语言：javascript
复制
  /**
代码语言：javascript
复制
   * {@inheritDoc}
代码语言：javascript
复制
   */
代码语言：javascript
复制
  @Override
代码语言：javascript
复制
  public double calculateOutput(double summedInput) {
代码语言：javascript
复制
    double denominator = 1 + Math.exp(-slope * summedInput);
代码语言：javascript
复制
    return (1d / denominator);
代码语言：javascript
复制
  }
代码语言：javascript
复制
}

正弦函数

正弦激活函数基于计算加权输入的正弦。

代码语言：javascript
复制
/**
代码语言：javascript
复制
 * 正弦函数。计算基于：
代码语言：javascript
复制
 *
代码语言：javascript
复制
 * y = sin(x)
代码语言：javascript
复制
 *
代码语言：javascript
复制
 */
代码语言：javascript
复制
public class SinusoidActivationFunction implements ActivationFunction {
代码语言：javascript
复制
/**
代码语言：javascript
复制
 * {@inheritDoc}
代码语言：javascript
复制
 */
代码语言：javascript
复制
    @Override
代码语言：javascript
复制
    public double calculateOutput(double summedInput) {
代码语言：javascript
复制
        return Math.sin(summedInput);
代码语言：javascript
复制
    }
代码语言：javascript
复制
}

整流线性单位

该功能也被称为斜坡功能。根据维基百科：

与广泛使用的logistic sigmoid及其更为实用的双曲正切（本文未涉及）相比，它在卷积网络中的使用更为有效。整流器是2015年以来最受欢迎的深度神经网络激活功能。

代码语言：javascript
复制
/**
代码语言：javascript
复制
 * 整流线性激活函数
代码语言：javascript
复制
 */
代码语言：javascript
复制
public class RectifiedLinearActivationFunction implements ActivationFunction {
代码语言：javascript
复制
/**
代码语言：javascript
复制
 * {@inheritDoc}
代码语言：javascript
复制
 */
代码语言：javascript
复制
    @Override
代码语言：javascript
复制
    public double calculateOutput(double summedInput) {
代码语言：javascript
复制
        return Math.max(0, summedInput);
代码语言：javascript
复制
    }
代码语言：javascript
复制
}

维基百科还指出，在神经网络中可能会应用各种激活函数，本文介绍了一些用Java实现的激活函数。他们的数量将在下一篇文章中进一步扩展，介绍各种类型的应用以及神经网络中的学习过程。

神经网络
java
神经网络
java
评论
登录后参与评论
0 条评论
热度
最新
登录 后参与评论
推荐阅读
目录
  • 步骤功能
  • 线性组合
  • Sigmoid函数
  • 正弦函数
  • 整流线性单位
领券

腾讯云开发者

扫码关注腾讯云开发者

扫码关注腾讯云开发者

领取腾讯云代金券

热门产品

热门推荐

更多推荐

Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 

深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

腾讯云计算（北京）有限责任公司 京ICP证150476号 |  京ICP备11018762号

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档

Copyright © 2013 - 2026 Tencent Cloud.

All Rights Reserved. 腾讯云 版权所有

登录 后参与评论