神经网络需要强大的计算能力如何解决？

大家好，我是小发猫。今天又要跟大家讲故事了。这个问题很有意义。机器学习算法没有缺点，那么为什么数据科学家选择深度学习算法呢？神经网络能为我们提供哪些传统机器学习无法提供的功能？

　　我还经常看到另一个问题:——神经网络需要强大的计算能力。所以当问题中只有一些细微的差别时，使用神经网络真的值得吗？这个问题的答案很简单——值得！

　　深度学习中的不同神经网络(如卷积神经网络、RNN循环神经网络、人工神经网络)正在改变我们与世界互动的方式。这些不同类型的神经网络是深度学习革命的核心，并为诸如无人驾驶飞行器、自主车辆和语音识别等应用提供动力。

　　人们自然想到——机器学习算法做不到吗？以下是研究人员和专家倾向于选择深度学习而不是机器学习的两个主要原因:

　　判别边界

　　特色工程

　　让我解释一下。

　　机器学习与深度学习:决策边界

　　每个机器学习算法都学习从输入到输出的映射。换句话说，该算法只学习几组权重的函数:

　　输入-

　　f(w1，w2….wn)

　　输出

　　在分类问题中，算法将学习将两个类别分开的函数——，这被称为决策边界。决策边界可以帮助我们确定给定的数据点属于正类还是负类。

　　例如，在逻辑回归的情况下，学习函数是试图将两个类别分开的Sigmoid函数。

　　逻辑回归的决策边界

　　如上图所示，逻辑回归算法需要学习线性决策边界。它不能像下图那样学习非线性数据的决策边界:

　　非线性数据

　　类似地，机器学习算法不能学习所有功能。这限制了算法能够解决的复杂关系问题。

　　机器学习与深度学习:特征工程

　　特征工程是建模过程中的一个关键步骤。这个过程分为两个步骤:

　　1.特征抽出

　　2.特征选择

　　在特征提取中，我们提取问题陈述中需要的所有特征。在特征选择中，我们选择能够提高机器学习或深度学习模型性能的重要特征。

　　想想图像分类。为了从图像中手动提取特征，有必要对主题和领域有深入的理解。这是一个非常耗时的过程。通过深入学习，我们可以实现特征工程的自动化！

　　机器学习与深度学习的比较

　　既然我们已经理解了深度学习的重要性以及为什么它可以超越传统的机器学习算法，让我们进入本文的关键部分。我们将讨论用于解决深度学习问题的不同类型的神经网络。深度学习中不同类型的神经网络

　　本文将重点讨论三种重要的神经网络，它们构成了深度学习中大多数预训练模型的基础:

　　多层感知器(MLP)/人工神经网络

　　卷积神经网络

　　递归神经网络(RNN)

　　让我们仔细看看这些神经网络。

　　多层感知器(MLP)

　　1.什么是MLP？为什么是MLP？

　　一个单一的感知器(或神经元)可以想象成一个逻辑回归。多层感知器(MLP)是一组多层感知器在每一层。由于输入只在一个方向上向前处理，MLP也被称为前馈神经网络:

　　多层感知器

　　如图所示，MLP由三层组成:——输入层、隐藏层和输出层。输入层只接收输入，隐藏层处理输入，输出层生成结果。基本上，每一层都要训练重量。

　　MLP可以用来解决与下列有关的问题:

　　表格数据列表数据

　　图像数据

　　文本数据文本数据

　　2.多层感知器的优点

　　多层感知器可以学习任何非线性函数。因此，这些网络通常被称为通用函数逼近器。MLP可以学习将任何输入映射到输出的权重。

　　普适近似背后的主要原因之一是激活函数。激活函数将非线性特征引入网络，有助于网络学习输入和输出之间的复杂关系。

　　感知器(点击观看电影)

　　如图所示，每个神经元的输出是输入加权和的激活。然而，如果没有激活功能会发生什么？这个网络只学习线性函数，但不学习复杂的关系，因为激活函数是多层感知器的核心！

　　3.多层感知器面临的挑战

　　用MLP方法解决图像分类问题时，必须将二维图像转换成一维向量，然后训练模型。这有两个缺点:

　　(1)随着图像尺寸的增加，可训练参数的数量将急剧增加。

　　MLP:图像分类

　　在上面的情况下，如果图像的大小是224*224，在只有4个神经元的第一隐藏层中的可训练参数是602112，这不是一个小数字！(2)MLP将失去图像的空间特征。空间特征指的是图像中像素的排列。我将在下面的章节中详细讨论这个问题。

　　在所有这些神经网络中，有一个共同的问题:梯度消失和爆炸。这个问题与反向传播算法有关。反向传播算法通过寻找梯度来更新神经网络的权重。

　　反向传播

　　因此，在非常深的神经网络(具有大量隐藏层的网络)中，梯度将随着反向传播而消失或爆炸，从而导致梯度消失和爆炸。

　　MLP无法捕获处理序列数据所需的输入数据中的序列信息。

　　现在，让我们看看如何通过使用两种不同的体系结构来克服MLP的局限性，即——循环神经网络(RNN)和卷积神经网络(美国有线电视新闻网)。

　　循环神经网络(RNN)

　　1.什么是RNN？为什么使用RNN？

　　让我们首先从建筑的角度来看RNN和MLP之间的差异:

　　MLP隐层上的环形约束转向RNN

　　如上图所示，RNN在隐藏状态下有一个循环连接。这个循环约束可以确保在输入数据中捕获序列信息。

　　循环神经网络可以帮助我们解决以下相关问题:

　　时序数据

　　文本数据

　　音频数据

　　2.递归神经网络的优势(RNN)

　　RNN可以捕捉数据中出现的序列信息，例如，预测期间文本中单词之间的依赖关系:

　　Many2many2seq模型

　　如图所示，每个时间步长的输出(o1，o2，o3，o4)不仅取决于当前字，还取决于前一个字。

　　RNN分享不同时间步长的参数。这通常称为参数共享。这将减少培训参数和计算成本。

　　发达的RNN

　　如上图所示，三个权重矩阵U、W和V是在所有时间步长中共享的权重矩阵。

　　3.RNN面临的挑战

　　深度RNN(具有大量时间步长的RNN)也具有梯度消失和爆炸问题，这是所有不同类型的神经网络中常见的问题。

　　梯度消失(RNN)

　　如图所示，当到达初始时间步长时，在最后时间步长计算的梯度消失。

　　卷积神经网络

　　1.美国有线电视新闻网是什么？为什么使用美国有线电视新闻网？

　　卷积神经网络目前在深度学习领域非常流行。这些有线电视新闻网模型适用于不同的应用和领域，特别是在图像和视频处理项目。有线电视新闻网的基石是过滤器，核心。核的作用是通过卷积运算从输入中提取相关特征。我们可以试着理解使用图像作为输入数据过滤器的重要性。图像与过滤器的卷积生成特征图:

　　卷积输出

　　尽管引入卷积神经网络的初衷是为了解决与图像数据相关的问题，但它们在顺序输入中的性能也非常出色。

　　2.卷积神经网络的优势

　　美国有线电视新闻网可以自动学习过滤器。这些过滤器有助于从输入数据中提取正确的相关特征。

　　美国有线电视新闻网从图像中捕捉空间特征。空间特征是指图像中像素的排列以及它们之间的关系。它们可以帮助我们准确地识别物体、它们的位置以及它们与图像中其他物体的关系。

　　在上面的图像中，我们可以通过观察特定的特征(例如，眼睛、鼻子、嘴巴等)来容易地识别图像是脸。)。我们也可以在图像中看到这些特征的排列。这正是美国有线电视新闻网所能捕捉到的。

　　3.比较不同类型的神经网络

　　接下来，我总结了一些不同神经网络之间的差异:

　　在本文中，我们讨论了深入学习的重要性，并了解了不同类型的神经网络之间的差异。我一直认为知识共享是学习的最终形式，所以我也期待听到更多来自你们的不同声音！欢迎来到评论区与我们分享您的观点！

如果您有互联网问题，也可以咨询我，谢谢！如果你也想一起学习人工智能，欢迎留言交流。