- 综合排序
- 最热优先
- 最新优先
- 来自专栏计算机视觉
训练神经网络的7个技巧
前言 神经网络模型使用随机梯度下降进行训练，模型权重使用反向传播算法进行更新。 在本文中，您将了解在训练神经网络模型时如何充分利用反向传播算法的技巧和诀窍。 训练神经网络的挑战在训练数据集的新示例之间取得平衡； 七个具体的技巧，可帮助您更快地训练出更好的神经网络模型。 训练神经网络的目标是在这两方面找到一个良好的平衡。 八、技巧7：选择学习率 学习率是模型权重在算法的每次迭代中更新的量。较小的学习率可能导致收敛较慢，但可能得到更好的结果，而较大的学习率可能导致更快的收敛，但可能得到不太理想的结果。 参考：vx公众号：Google数据科学、深蓝AI 总结 神经网络训练是一个非常复杂的过程，在这过程中，许多变量之间相互影响，因此在这过程中，很难搞清楚这些变量是如何影响神经网络的。
38910编辑于 2024-03-19 - 来自专栏机器学习算法与Python学习
Torch7搭建卷积神经网络详细教程
本篇博文主要讲述在Torch7中神经网络如何建立以及相关的原理（即神经网络包NN的内容），虽然讲述的是神经网络的建立。 但是不会涉及太多神经网络的知识，假如你对该领域不是很了解，可以去之前的几篇博文里面充充电。 首先简单的介绍一下Torch7中的神经网络工具包，该包是由不同的模块组合而成。 很自然的，有了性能指标之后我们需要考虑如何优化该性能指标，这儿分为两种，一种是使用Torch7内部的优化函数包Optim来优化（简单，上手快），另一种则是采用迭代法更新权值（该方法一般用于简单的网络，当存在卷积层时 首先将Torch7中的nn包导入到工作区(注意语句结束加“；”)，这儿使用require关键字，如下所示。 ? 2. 7. 将三维的Tensor转换成一维的Tensor,如下所示。 ? 8. 添加16*6*6=576与200的线性全连接层，如下所示。 ? 9. 添加激活函数，如下所示。 ? 10.
1K140发布于 2018-04-08 - 来自专栏深度学习和计算机视觉
7大类卷积神经网络(CNN)创新综述
深度卷积神经网络（CNN）是一种特殊类型的神经网络，在各种竞赛基准上表现出了当前最优结果。 根据架构修改的类型，CNN 可以大致分为 7 类：基于空间利用、深度、多路径、宽度、通道提升、特征图利用和注意力的 CNN。深度 CNN 架构的分类如图 3 所示。 Lu 等人和 Hanin & Sellke 最近表明，带有线性整流激活函数的神经网络要足够宽才能随着深度增加保持通用的近似特性。 因此，多层堆叠（增加层）可能不会增加神经网络的表征能力。与深度架构相关的一个重要问题是，有些层或处理单元可能无法学习有用的特征。 （CNN）是一种特殊类型的神经网络，在各种竞赛基准上表现出了当前最优结果。
1.1K20编辑于 2022-09-28 - 来自专栏计算机视觉
7大类卷积神经网络(CNN)创新综述
深度卷积神经网络（CNN）是一种特殊类型的神经网络，在各种竞赛基准上表现出了当前最优结果。 根据架构修改的类型，CNN可以大致分为7类：基于空间利用、深度、多路径、宽度、通道提升、特征图利用和注意力的CNN。深度CNN架构的分类如图3所示。 Lu等人和Hanin & Sellke 最近表明，带有线性整流激活函数的神经网络要足够宽才能随着深度增加保持通用的近似特性。 7、基于注意力的CNN 不同的抽象级别再定义神经网络的鉴别能力方面有着重要的作用。除此之外，选择与上下文相关的特征对于图像定位和识别也很重要。在人类的视觉系统中，这种现象叫做注意力。 （CNN）是一种特殊类型的神经网络，在各种竞赛基准上表现出了当前最优结果。
80910编辑于 2024-10-25 - 来自专栏AI研习社
7个深度神经网络可视化工具，不可错过！
Netscope 是一个支持 prototxt 格式描述的神经网络结构的在线可视工具。 参考阅读： Netscope: 支持 Caffe 的神经网络结构在线可视化工具 Caffe 学习系列 (18): 绘制网络模型 Caffe 学习系列——工具篇：神经网络模型结构可视化 深度网络的设计与可视化工具 PlayGround 是一个图形化用于教学目的的简单神经网络在线演示、实验的平台，非常强大地可视化了神经网络的训练过程。 ? 参考阅读： [知乎] 谁能详细讲解一下 TensorFlow Playground 所展示的神经网络的概念？ CNNVis，帮助机器学习专家更好的理解、分析、设计深度卷积神经网络。
15.3K42发布于 2018-03-19 - 来自专栏ShowMeAI研究中心
深度学习与CV教程(7) | 神经网络训练技巧 (下)
代码如下： eps = 1e-7 grad_squared = 0 while True: dW = compute_gradient(W) grad_squared += dW * dW 我们可以训练 3 个不同的神经网络，每个网络都只有一个隐藏层，但是隐藏层的神经元数目不同，结果如下： [正则化; 隐藏层神经元数目不同] 在上图中，可以看见有更多神经元的神经网络可以表达更复杂的函数。 [正则化; 改变正则化强度] 上图每个神经网络都有 20 个隐藏层神经元，但是随着正则化强度增加，网络的决策边界变得更加平滑。所以，正则化强度是控制神经网络过拟合的好方法。 2.2 正则化方法 有不少方法是通过控制神经网络的容量来防止其过拟合的： L2正则化：最常用的正则化，通过惩罚目标函数中所有参数的平方实现。 但是在神经网络中，最常用的正则化方式叫做 Dropout，下面我们详细展开介绍一下。
76662编辑于 2022-06-01 - 来自专栏CVer
看了这7篇论文，你会完全掌握卷积神经网络！
目前，作为深度学习的代表算法之一，卷积神经网络（Convolutional Neural Networks，CNN）在计算机视觉、分类等领域上，都取得了当前最好的效果。 ? 后来，基于深度神经网络和搜索树的智能机器人“AlphaGo”在围棋上击败了人类，这是CNN 给人们的一个大大的惊喜。 可以说，卷积神经网络是深度学习算法应用最成功的领域之一。 目前，CNN应用也十分广泛。 而研读卷积神经网络的经典论文，对于学习和研究卷积神经网络必不可缺。 今天，给大家推荐一些资料，有论文、知识图谱。 7份经典学术论文 这些论文大部分都发表在计算机视觉顶级学术会议上。 这7份论文资料，100p以上的内容体量。建议收藏学习。 01 resnet ? 02 CNN ? 03 batchnorm ? 04 alexnet ? 05 visualzing ?
1K40发布于 2020-08-06 - 来自专栏新智元
7篇必读ACM MM 2019论文：图神经网络+多媒体
图神经网络在多媒体领域应用非常多，本文整理了七篇ACM MM 2019最新GNN相关论文，并附上论文链接供参考——个性化推荐、短视频推荐、多视频摘要、基于文本的行人搜索、视频关系检测、社区问答（CQA） 图神经网络在多媒体领域应用非常多，本文整理了七篇ACM MM 2019最新GNN相关论文，并附上论文链接供参考——个性化推荐、短视频推荐、多视频摘要、基于文本的行人搜索、视频关系检测、社区问答（CQA） 我们基于图神经网络的消息传递思想设计了一个多模态图卷积网络（MMGCN）框架，该框架可以生成用户和微视频的特定模态表示，以更好地捕获用户的偏好。 为了获得群体图像的鲁棒表示，我们设计了一种域转移图神经网络（DoT-GNN）方法。优点包括三个方面：1）风格转移。 doid=3343031.3351058 7.
1.1K40发布于 2019-11-11 - 来自专栏企鹅号快讯
大牛教你使用7种卷积神经网络进行物体检测！
因此可以想象我们在前面介绍的基于卷积神经网络的图片分类可以被应用到这里。 这是基于卷积神经网络的物体检测的奠基之作。 其核心思想是在对每张图片选取多个区域，然后每个区域作为一个样本进入一个卷积神经网络来抽取特征，最后使用分类器来对齐分类，和一个回归器来得到准确的边框。 ] [ 4. 5. 6. 7.] [ 8. 9. 10. 11.] [ 12. 13. 14. 15.]]]] 总结 我们描述了基于卷积神经网络的几个物体检测算法。他们之间的共同点在于首先提出锚框，使用卷积神经网络抽取特征后来预测其包含的主要物体和更准确的边框。
1.5K100发布于 2018-01-16 - 来自专栏悦思悦读
AI 入行那些事儿（7）深度神经网络的发展及其应用
2021 巨献 —— 系列文章《AI 入行那些事儿》，为您讲述： 人工智能的基础原理、发展历程、当前应用 成为 AI 技术人员所需的入门技能和学习途径 以及求职、面试的全过程 几度沉浮的神经网络 神经网络模型的发展几经沉浮 几十年来，计算机硬件的运算能力、训练数据和算法的欠缺一直是困扰和制约神经网络发展的重要原因。 ? 直到2006年，加拿大多伦多大学的辛顿（Hinton）教授发表了一篇关于深度神经网络的论文，把当时硬件的发展和神经网络结合起来，将GPU应用到深度学习的训练中。 这一次运算力的问题终于被解决了，神经网络在理论研究和硬件设备两个必要条件都具备了。同一时期大数据技术的发展又为训练深层神经网络提供了原材料。 ? 神经网络又一次被推上了高潮，深度神经网络成了学术界和工业界共同的青睐，深度学习领域也随之出现了。 深度学习 vs 机器学习 机器学习和深度学习最主要的区别是特征提取不同。
1.1K10发布于 2021-03-04 - 来自专栏机器之心
7 Papers & Radios | Transformer助力CAD草图生成；光学神经网络做数字识别
然而，电子处理器上训练和运行深度神经网络的高能量成本阻碍了深度学习的进步空间。因此，光学神经网络代替深度学习物理平台的可行性受到了广泛的关注。 理论上，光学神经网络比部署在常规数字计算机上的神经网络具有更高的能源效率。 论文 7：Pay Attention to MLPs 作者：Hanxiao Liu、Zihang Dai、David R. So、Quoc V. (from Minlie Huang) 7. (from Fabian Pedregosa, Gunnar Rätsch) 7.
59820发布于 2021-06-08 - 来自专栏AI人工智能
学习自然语言处理前，必知这7种神经网络知识
来源商业新知网，原标题：自然语言处理，不可不知的7种神经网络 什么是神经网络？它是如何工作的？现在有哪些神经网络？有哪几种类型的神经网络可以用于自然语言处理？下面我们会一一解答这些问题。 卷积神经网络同样可以用于语义分析、释义检测、语音识别等领域。 递归神经网络（RNN） 递归神经网络（RNN）是两种人工神经网络的总称。 时间递归神经网络的神经元间连接构成矩阵，而结构递归神经网络利用相似的神经网络结构递归构造更为复杂的深度网络。 递归神经网络可以把一个树/图结构信息编码为一个向量，也就是把信息映射到一个语义向量空间中。 循环神经网络（RNN） 不像前馈神经网络，循环神经网络是递归神经网络的一种变体，神经元之间的连接会成为循环。 结语 本文我们讨论了几种类型的神经网络，比如多层感知机、卷积神经网络、递归神经网络等等。它们都可以应用在自然语言处理任务中。卷积神经网络主要用于文本分类，循环神经网络通常用于自然语言生成和机器翻译。
1.5K00发布于 2019-04-01 - 来自专栏机器学习爱好者社区
【原创】机器学习从零开始系列连载(7)——人工神经网络-Neural Network
神经网络在维基百科上的定义是： NN is a network inspired by biological neural networks (the central nervous systems 神经元 神经元是神经网络和SVM这类模型的基础模型和来源，它是一个具有如下结构的线性模型： ? 其输出模式为： ? 示意图如下： ? 神经网络的常用结构 神经网络由一系列神经元组成，典型的神经网络结构如下： ? 神经元的各种组合方式得到性质不一的神经网络结构 : ? 前馈神经网络 ? 反向传播神经网络 ? 循环神经网络 ? 卷积神经网络 ? 自编码器 ? Google DeepMind 记忆神经网络(用于AlphaGo) 一个简单的神经网络例子 假设随机变量 , 使用3层神经网络拟合该分布： import numpy as np import
47930发布于 2020-03-04 - 来自专栏数据派THU
7篇最新Nature. Mach. Intell.图神经网络论文汇集
来源：专知本文约1800字，建议阅读7分钟本文与你分享图神经网络的相关论文及科学应用。 随着该领域的成熟，图神经网络论文的数量也在增长，作者仔细研究了一些科学应用，并收集了几篇发表在Nature上的GNN论文。 我们周围的很多信息都可以用图表来表示。 图神经网络（GNN）可以处理基于图的信息以进行预测。 卷积神经网络（CNN）擅长处理图像、文本或视频等数据。这些可以被认为是简单的图形或固定大小和形状的序列。
88240编辑于 2022-04-13 - 来自专栏机器之心
7 Papers & Radios | NLP新范式Prompt；用神经网络解决混合整数规划问题
机器之心 & ArXiv Weekly Radiostation 参与：杜伟、楚航、罗若天 本周重要论文包括 CMU 华人博士后撰写的关于 NLP 新范式 Prompt 的综述文章；DeepMind 利用神经网络求解混合整数规划 推荐：用神经网络解决 NP-hard 的 MIP 问题。 (from Shutao Li) 7. (from Licheng Jiao) 7. Vision Transformer with Progressive Sampling. (from Philip Torr) 8. Figueiredo, Mathieu Blondel) 7. SINGA-Easy: An Easy-to-Use Framework for MultiModal Analysis.
90110编辑于 2023-03-29 - 来自专栏机器学习养成记
神经网络-BP神经网络
感知器作为初代神经网络，具有简单、计算量小等优点，但只能解决线性问题。 BP神经网络在感知器的基础上，增加了隐藏层，通过任意复杂的模式分类能力和优良的多维函数映射能力，解决了异或等感知器不能解决的问题，并且BP神经网络也是CNN等复杂神经网络等思想根源。 1 基本概念 BP神经网络是一种通过误差反向传播算法进行误差校正的多层前馈神经网络，其最核心的特点就是：信号是前向传播，而误差是反向传播。 2 BP神经网络结构 BP神经网络包含输入层、隐藏层和输出层，其中，隐藏层可有多个，其中，输入层和输出层的节点个数是固定的（分别是输入样本的变量个数和输出标签个数），但隐藏层的节点个数不固定。 以具有单隐藏层的BP神经网络为例，其网络结构如下图： ? 3 BP神经网络原理公式 以单隐藏层的BP神经网络为例，各阶段原理公式如下： 前向传播。
2.2K20发布于 2021-03-04 - 来自专栏机器之心
7 Papers & Radios | Stable Diffusion采样速度翻倍；MIT解决神经网络百年难题
MIT 的「liquid」神经网络团队发现了缓解这一瓶颈的方法，即求解两个神经元通过突触相互作用背后的微分方程。 推荐：解决神经网络的百年难题，MIT 新模型 Liquid CfC 让模拟大脑动力学成为可能 论文 2：Learning to Explore Distillability and Sparsability Accelerator Survey and Trends 作者：Albert Reuther 等 论文地址：https://arxiv.org/pdf/2210.04055.pdf 摘要：本文关注深度神经网络和卷积神经网络的加速器和处理器 (from Dzmitry Bahdanau, Aaron Courville) 7. (from Kai-Wei Chang, Shih-Fu Chang) 7.
67910编辑于 2022-12-16 - 来自专栏机器之心
7 Papers & Radios | 当支持向量机遇上神经网络；EagerPy实现多框架无缝衔接
机器之心 & ArXiv Weekly Radiostation 参与：杜伟、楚航、罗若天 本周值得关注的论文有支持向量机向神经网络的扩展性研究，以及API 统一、干净且适配 PyTorch、TF 的新型 在准备过程中，她学习了 SVM，并思考了这个问题：「如果将 SVM 推广到神经网络会发生什么？」顺着这个思路，研究者发现了 SVM、GAN、Wasserstein 距离之间的关系。 (from Prasenjit Mitra) 7. (from Bing Liu) 7. (from Visvanathan Ramesh) 7.
43830发布于 2020-09-08 - 来自专栏全栈程序员必看
神经网络学习 之 BP神经网络
BP网络就是一种简单的人工神经网络。 本文具体来介绍一下一种非常常见的神经网络模型——反向传播(Back Propagation)神经网络。 BP神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的 输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。 BP网络的训练分解 训练一个BP神经网络，实际上就是调整网络的权重和偏置这两个参数，BP神经网络的训练过程分两部分： 前向传输，逐层波浪式的传递输出值； 逆向反馈，反向逐层调整权重和偏置； 我们先来看前向传输 更新完权重后，还有最后一项参数需要更新，即偏置： 至此，我们完成了一次神经网络的训练过程，通过不断的使用所有数据记录进行训练，从而得到一个分类模型。 \n\n下面将对神经网络进行训练请稍候。
6.4K20编辑于 2022-09-01 - 来自专栏智能大数据分析
【机器学习-神经网络】循环神经网络
在前面两篇文章中，我们分别介绍了神经网络的基础概念和最简单的MLP，以及适用于图像处理的CNN。从中我们可以意识到，不同结构的神经网络具有不同的特点，在不同任务上具有自己的优势。 这就是本文要介绍的循环神经网络（recurrent neural networks，RNN）。 一、循环神经网络的基本原理 我们先从最简单的模型开始考虑。 因此，这样重复的网络结构可以用图2中的循环来表示，称为循环神经网络。 图2 RNN的循环表示 RNN的输入与输出并不一定要像上面展示的一样，在每一时刻都有一个输入样本和一个预测输出。
76100编辑于 2025-01-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号