- 综合排序
- 最热优先
- 最新优先
- 来自专栏计算机工具
深度学习10：Attention 机制
做个不太恰当的类比，人类学习一门新语言基本经历四个阶段：死记硬背（通过阅读背诵学习语法练习语感）->提纲挈领（简单对话靠听懂句子中的关键词汇准确理解核心意思）->融会贯通（复杂对话懂得上下文指代、语言背后的联系 ，具备了举一反三的学习能力）->登峰造极（沉浸地大量练习）。 想要了解更多技术细节，可以看看下面的文章或者视频： 「文章」深度学习中的注意力机制 「文章」遍地开花的 Attention，你真的懂吗？ 另一方面，因为不可导，一般需要用强化学习的方法进行训练。 2）LSTM+Attention LSTM内部有Gate机制(GATE:高效处理表格数据的深度学习架构)， 其中input gate选择哪些当前信息进行输入，forget gate选择遗忘哪些过去信息
1.1K10编辑于 2024-12-14 - 来自专栏信数据得永生
深度学习快速参考：6~10
网格搜索对于深度学习并不是很实用。 除了最基本的深度神经网络，我们无法现实地探索所有可能参数的每个可能值。 尽管您当然可以将最新技术应用于自己的深度学习问题，但您需要在决策中权衡实现的复杂性和搜索运行时间。 本章总结了深度学习的基础。 在下一章中，我们将从计算机视觉入手，介绍神经网络的一些更有趣和更高级的应用。 七、从头开始训练 CNN 深度神经网络彻底改变了计算机视觉。 八、将预训练的 CNN 用于迁移学习 迁移学习很棒。 实际上，在一本充满奇妙事物的书中，这可能是我必须告诉您的最奇妙的事物。 如果没有，那也许至少是我可以教给您的最有用和最实用的深度学习技术。 迁移学习可以帮助您解决深度学习问题，尤其是计算机视觉问题，而涉及问题范围的数据和数据却很少。 在本章中，我们将讨论什么是迁移学习，什么时候应该使用它，最后讨论如何在 Keras 中进行迁移学习。
74320编辑于 2023-04-23 - 来自专栏paddle深度学习
paddle深度学习10 模型准备
在深度学习中，模型训练是一个迭代的过程，通过不断调整模型参数，使其在给定任务上的表现逐渐提升。本节将详细介绍模型训练的基本流程，包括模型定义、损失函数和优化器的选择，以及训练循环的各个步骤。
25710编辑于 2025-01-16 - 来自专栏智能大数据分析
【深度学习优化算法】10：Adam算法
【作者主页】Francek Chen 【专栏介绍】 PyTorch深度学习 深度学习 (DL, Deep Learning) 特指基于深层神经网络模型和方法的机器学习。 它是在统计机器学习、人工神经网络等算法模型基础上，结合当代大数据和大算力的发展而发展出来的。深度学习最重要的技术特征是具有自动提取特征的能力。神经网络算法、算力和数据是开展深度学习的三要素。 深度学习在计算机视觉、自然语言处理、多模态数据分析、科学探索等领域都取得了很多成果。本专栏介绍基于PyTorch的深度学习算法实现。 在RMSProp算法中，我们通过学习率的调整来分离每个坐标的缩放。 Adam算法将所有这些技术汇总到一个高效的学习算法中。不出预料，作为深度学习中使用的更强大和有效的优化算法之一，它非常受欢迎。 通常，我们选择 \epsilon = 10^{-6} ，这是为了在数值稳定性和逼真度之间取得良好的平衡。
65010编辑于 2025-08-02 - 来自专栏全栈程序员必看
VggNet10模型的cifar10深度学习训练
也将会根据文件名来获取这些数据，后面代码中将会体现到 二：VGG模型 VGGNet是牛津大学计算机视觉组(Visual Geometry Group)和Google Deepmind公司研究员一起研发的深度卷积神经网络 VGGNet在AlexNet的基础上探索了卷积神经网络的深度与性能之间的关系，通过反复堆叠3*3的小型卷积核和2*2的最大池化层，VGGNet构筑的16~19层卷积神经网络模型取得了很好的识别性能，同时 VGG根据深度的不同，列出了这么些。其中根据结构深度的不同，从左边的A（11层）到E（19层）是逐渐增加的。 三个FC全连接层，其中在第三个全连接层部分，输出的节点（nodes）=n_classes，也就是分类有多少个类型，这里的训练集是cifar10.所以后面给出的n_classes=10. 后面还有对网络进行修改的tools，因为迁移学习中（http://www.sohu.com/a/130511730_465975），前面几层的卷积运算都是对图像特征的提取（看了很久资料，还是没太懂，明白了再补充
71520编辑于 2022-09-27 - 来自专栏计算机视觉
深度学习500问——Chapter10：迁移学习（2）
文章目录 11.2 迁移学习的基本思路有哪些 11.2.1 基于样本迁移 11.2.2 基于特征迁移 11.2.3 基于模型迁移 11.2.4 基于关系迁移 11.2 迁移学习的基本思路有哪些 迁移学习的基本方法可以分为四种 ] 和远域迁移学习 (Distant Domain Transfer Learning,DDTL) [Tan et al.,2017]，利用联合矩阵分解和深度神经网络，将迁移学习应用于多个不相似的领域之间的知识共享 .,2012]， 然后利用传统的机器学习方法进行分类识别。根据特征的同构和异构性，又可以分为同构和异构迁移学习。图15很形象地表示了两种基于特征的迁移学习方法。 图15 基于特征的迁移学习方法示意图 基于特征的迁移学习方法是迁移学习领域中最热门的研究方法，这类方法通常假设源域和目标域之间有一些交叉的特征。 .,2017]改进了深度网络结构，通过在网络中加入概率分布适配层，进一步提高了深度迁移学习网络对于大数据的泛化能力。
73810编辑于 2024-06-12 - 来自专栏计算机视觉
深度学习500问——Chapter10：迁移学习（1）
文章目录 11.1 迁移学习基础知识 11.1.1 什么是迁移学习 11.1.2 为什么需要迁移学习 11.1.3 迁移学习的基本问题有哪些 11.1.4 迁移学习有哪些常用概念 11.1.5 迁移学习与传统机器学习有什么区别 11.1.9 迁移学习的基本思路 11.1 迁移学习基础知识 11.1.1 什么是迁移学习 找到目标问题的相似性，迁移学习任务就是从相似性出发，将旧领域（domain）学习过的模型应用在新领域上。 迁移学习与多任务学习关系： 多任务学习：多个相关任务一起协同学习； 迁移学习：强调信息复用，从一个领域（domain）迁移到另一个领域。 2. 迁移学习，是指利用数据、任务或模型之间的相似性，将在旧领域学习过的模型，应用于新领域的一种学习过程。 迁移学习最有用的场合是，如果你尝试优化任务B的性能，通常这个任务数据相对较少。 迁移学习什么时候是有意义的？它确实可以显著提高你的学习任务的性能，但我有时候也见过有些场合使用迁移学习时，任务实际上数据量比任务要少，这种情况下增益可能不多。 什么情况下可以使用迁移学习？
52210编辑于 2024-06-12 - 来自专栏计算机视觉
深度学习500问——Chapter10：迁移学习（3）
11.3 迁移学习的常用方法 11.3.1 数据分布自适应 数据分布自适应（Distribution Adaption）是一类最常用的迁移学习方法。 图23展示的结果表明将概率分布适配加入到深度网络中，往往会取得比非深度学习更好的结果。 因此，此类方法的目标就是，通过机器学习方法，选择出这部分共享的特征，即可依据这些特征构建模型。 图24形象地表示了特征选择法的主要思路。 对齐后的数据，可以利用传统机器学习方法构建分类器进行学习。SA方法(Subspace Alignment，子空间对齐)[Fernado et al.,2013]是其中的代表性成果。 SA方法的优化目标如下： 则变换 M 的值为： 可以直接获得上述优化问题的闭式解： SA 方法实现简单，计算过程高效，是子空间学习的代表性方法。
57510编辑于 2024-06-15 - 来自专栏计算机视觉
深度学习500问——Chapter10：迁移学习（4）
11.3.9 什么是finetune 深度网络的finetune也许是最简单的深度网络迁移方法。Finetune，也叫微调、fine-tuning，是深度学习中的一个重要概念。 Finetune 并不只是针对深度神经网络有促进作用，对传统的非深度学习也有很好的效果。例如，finetune对传统的人工提取特征方法就进行了很好的替代。 这个问题对于理解神经网络以及深度迁移学习都有着非常重要的意义。 这在迁移学习中也是不成立的。因此，我们需要更进一步，针对深度网络开发出更好的方法使之更好地完成迁移学习任务。 正是基于这样的领域对抗的思想，深度对抗网络可以被很好地运用于迁移学习问题中。
41110编辑于 2024-06-15 - 来自专栏氧化先生的专栏
10种深度学习算法的TensorFlow实现
这个 repository 是使用 TensorFlow 库实现的多种深度学习算法的实现。 这个软件包的目标是作为一种命令行实用程序——你可以将其用来快速训练和评估流行的深度学习模型以及也许使用它们作为与你的自定义模型/数据集比较的基准/标准。 如果你想在 ipython 中使用这个软件包或将其整合到你的代码中，作者还发布了一个名叫 yadlt 的 pip 包，然而那是另一个深度学习工具了。 ） 多层感知器（MultiLayer Perceptron） Logistic 回归 安装 通过 pip 安装： pip install yadlt 你可以通过查看 command_line/ 目录学习这些模型的基本使用方法 Q 强化学习（Deep Q Reinforcement Learning）
1K40发布于 2018-08-21 - 来自专栏计算机视觉
深度学习500问——Chapter10：强化学习（1）
10.1 强化学习的主要特点 其他许多机器学习算法中学习器都是学得怎样做，而RL是在尝试的过程中学习到特定的情境下选择哪种行动可以得到最大的回报。 action（如向前走和跳起来的动作）；无人驾驶的action就是车左转、右转或刹车等等，它无时无刻都在与环境产生交互，action会反馈给环境，进而改变环境，如果自动驾驶的车行驶目标是100米，它向前开了10 再如双 11 推荐场景中，阿里巴巴使用了深度强化学习与自适应在线学习，通过持续机器学习和模型优化建立决策引擎，对海量用户行为以及百亿级商品特征进行实时分析，帮助每一个用户迅速发现宝贝，提高人和商品的配对效率 还有，利用强化学习将手机用户点击率提升了 10-20%。 10.3 强化学习和监督式学习、非监督式学习的区别 在机器学习中，我们比较熟知的是监督式学习、非监督式学习，此外还有一个大类就是强化学习：当前的机器学习算法可以分为3种：有监督的学习（Supervised
41610编辑于 2024-06-07 - 来自专栏计算机视觉
深度学习500问——Chapter10：强化学习（2）
典型的深度强化学习算法特点及性能比较如下图所示。 除了上述深度强化学习算法，还有深度迁移强化学习、分层深度强化学习、深度记忆强化学习以及多智能体强化学习等算法。 10.5 深度迁移强化学习算法 传统深度强化学习算法每次只能解决一种游戏任务，无法在一次训练中完成多种任务。迁移学习和强化学习的结合也是深度强化学习的一种主要思路。 10.7 深度记忆强化学习算法 传统的深度强化学习模型不具备记忆、认知、推理等高层次的能力, 尤其是在面对状态部分可观察和延迟奖赏的情形时。 而其他的如深度迁移强化学习、分层深度强化学习、深度记忆强化学习和多智能体深度强化学习等算法都是现在的研究热点, 通过这些算法能应对更为复杂的场景问题、系统环境及控制任务, 是目前深度强化学习算法研究的前沿领域 最后，还需要熟悉深度强化学习知识。
41210编辑于 2024-06-07 - 来自专栏信数据得永生
TensorFlow 深度学习第二版：6~10
最近在深度学习的背景下重新发现了这种类型的神经网络，因为它没有消失梯度的问题，并且提供了出色的结果和表现。基于 LSTM 的网络是时间序列的预测和分类的理想选择，并且正在取代许多传统的深度学习方法。 cuDNN 是一个有助于加速深度学习框架的库，例如 TensorFlow 和 Theano。 这就是深度学习的步骤。神经网络非常擅长为高度结构化的数据提供良好的功能。 Cart-Pole 问题 我们将建立一个深度神经网络，可以学习通过 RL 玩游戏。更具体地说，我们将使用深度 Q 学习训练智能体玩 Cart-Pole 游戏。 在这个游戏中， 自由摆动杆连接到推车。 深度学习算法的进步已经在 RL 中引入了新的成功应用浪潮，因为它提供了有效处理高维输入数据（例如图像）的机会。
1.7K20编辑于 2023-04-23 - 来自专栏信数据得永生
TensorFlow 1.x 深度学习秘籍：6~10
学习使用 RNN 预测未来的比特币价值 多对一和多对多 RNN 示例 介绍 在本章中，我们将讨论循环神经网络（RNN）如何在保持顺序顺序重要的领域中用于深度学习。 我们将在深度 Q 学习秘籍中使用 CNN 解决此问题。 Q 网络和 Atari 游戏 深度 Q 网络（DQN）是 Q 学习与卷积神经网络（CNN）的结合。 /glorot10a.pdf 十、移动计算 在本章中，我们将讨论在移动设备上使用深度学习的问题，并为以下内容提供一些方法： 安装适用于 macOS 和 Android 的 TensorFlow Mobile 这与台式机或云深度学习的情况大不相同，在台式机或云深度学习中，GPU 和电力通常可用。 实际上，在移动设备上，保存电池非常重要，并且 GPU 经常不可用。 但是，深度学习在许多情况下可能非常有用。
1.2K10编辑于 2023-04-23 - 来自专栏信数据得永生
TensorFlow 2 和 Keras 高级深度学习：6~10
对于 MNIST，我们可以使用基于 CNN 的分类器，类似于在“第 1 章”，“Keras 高级深度学习”中讨论的分类器。 这是，其中深度学习（DL）开始发挥作用。 它解决了这个可扩展性问题，从而开启了深度强化学习（DRL）的时代。 在本章中，我们的重点是 DRL。 在下一节中，我们将使用深度神经网络来学习 Q 表。 6. 深度 Q 网络（DQN） 在小型离散环境中，使用 Q 表执行 Q 学习是很好的选择。 解决方案是使用深度神经网络学习 Q 表。 但是，由于样本相关性和目标 Q 网络的非平稳性，在 RL 上训练深度神经网络非常不稳定。 就像我们在“第 9 章”，“深度强化学习”中讨论的基于值的方法一样，策略梯度方法也可以实现为深度强化学习算法。 研究策略梯度方法的基本动机是解决 Q 学习的局限性。
2.5K10编辑于 2023-04-26 - 来自专栏深度学习
最值得关注的10大深度学习算法
公众号：尤而小屋编辑：Peter作者：Peter大家好，我是Peter~今天给大家分享一下10大经典的深度学习算法。 首先，对比一下传统机器学习和深度学习的训练过程差异：下图展示了传统机器学习算法与深度学习技术在数据量方面的性能比较。从图表中可以明显看出，随着数据量的增加，深度学习算法的性能也随之提升。 随着数据量的持续增长，深度学习算法的性能优势将更加显著从数据量角度出发，深度学习模型，尤其是深度神经网络，需要大量的数据进行训练。这种对大数据的需求使得深度学习能够在处理大规模数据集时表现出色。 下面介绍值得关注和学习的10个深度学习算法：多层感知机Multilayer Perceptrons (MLPs)径向基函数网络Radial Basis Function Networks (RBFNs) 10 深度信念网络Deep Belief Networks（DBNs）什么是DBNs深度信念网络是一种基于无监督学习的生成模型，具有多层的堆叠结构，由多层受限玻尔兹曼机（Restricted Boltzmann
1.2K11编辑于 2024-07-19 - 来自专栏ATYUN订阅号
【动向】2018年深度学习的10大预测
下面是我整理的一份关于2018年深度学习的预测清单： 1.大多数深度学习硬件初创公司将会失败 许多深度学习硬件初创企业将在2018年最终交付他们的芯片。 我们必须通过创造“虚假的解释”来在深度学习中取得进展。 7.深入学习的研究信息会下降 对于深度学习研究的人们来说，2017年已经很困难了。ICLR 2018年会议提交的论文数量约为4000份。 这将成为一个难题，因为大多数深度学习的研究人员不具备正确的数学理论来理解这类系统的复杂性。深度学习需要来自复杂性理论的研究人员，但这类研究人员非常少。 2018年，深度学习研究论文可能会翻三番或四翻。 8.工业化是通过教学环境来实现的 通过对具体教学环境的开发，可以实现对深度学习系统可预测和可控制的开发。 如果你想找到最原始的教学方法，你只需要看看深度学习网络是如何训练的。在这方面我们将会看到更多的进展。 期待看到更多的公司透露他们的内部基础设施，解释他们如何部署深度学习。
57850发布于 2018-03-06 - 来自专栏有趣的Python和你
深度学习|Keras识别CIFAR-10图像（CNN）
数据和方法 CIFAR-10数据集有6000个32×32个彩色图片，50000个训练图片和10000个测试图片。有10个类别：飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船、卡车。 from keras.datasets import cifar10 import numpy as np np.random.seed(10) (x_img_train,y_label_train) ,(x_img_test,y_label_test)=cifar10.load_data() 数据处理 标准化 label的one-hot编码 x_img_train_normalize = x_img_train.astype rate=0.25)) model.add(Dense(1024, activation='relu')) model.add(Dropout(rate=0.25)) model.add(Dense(10 y_label_train_OneHot, validation_split=0.2, epochs=10
1.4K50发布于 2019-01-28 - 来自专栏算法进阶
深度学习的Top10模型！
自2006年深度学习概念被提出以来，20年快过去了，深度学习作为人工智能领域的一场革命，已经催生了许多具有影响力的算法或模型。那么，你所认为深度学习的最牛的模型有哪些呢？ 欢迎评论区留言讨论~ 以下是我心目中的深度学习top10模型，它们在创新性、应用价值和影响力方面都具有重要的地位。 1、深度神经网络（DNN） 背景：深度神经网络（DNN）也叫多层感知机，是最普遍的深度学习算法，发明之初由于算力瓶颈而饱受质疑，直到近些年算力、数据的爆发才迎来突破。 接着，运用神经网络对这些词或n-gram的上下文进行深度学习。在训练过程中，模型会持续调整词的向量表示，以最小化预测误差，从而精确捕捉语义内涵。 、深度强化学习(DQN)： 模型原理： Deep Q-Networks (DQN) 是一种集成了深度学习和Q-learning的强化学习算法。
5.3K12编辑于 2024-06-26 - 来自专栏林欣哲
10分钟教你深度学习的调参
深度学习的训练方法可参见我之前的文章深度学习的训练，以下则是调参的手法及典型值。 两类需要调参的参数（parameters） 优化类的参数：学习率（learning rates）、mini batch、训练代数（epochs） 模型类的参数：隐含层数（hidden layers）、模型结构的参数 （如RNN） 优化类的参数 一、学习率 Learning Rate 一个好的起点是从0.01尝试起 可选的几个常用值： 0.01 0.001 0.0001 0.00001 0.000001 判断依据：验证集的误差 （validation error） 常用策略： 学习率衰减（learning rate） 如果选用了Adam和Adagrad的作为优化器（optimizer），则他们自带了可自适应的学习率（adaptive
4.7K80发布于 2018-04-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号