首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏JNing的专栏

    【tensorflow】TFRecord读写机理

    1.tfrecord,写的时候是一行一行地写的,读的时候是每batch个行地读的。

    74110发布于 2020-03-17
  • 来自专栏计算机视觉

    训练神经网络的7个技巧

    前言 神经网络模型使用随机梯度下降进行训练,模型权重使用反向传播算法进行更新。 在本文中,您将了解在训练神经网络模型时如何充分利用反向传播算法的技巧和诀窍。 训练神经网络的挑战在训练数据集的新示例之间取得平衡; 七个具体的技巧,可帮助您更快地训练出更好的神经网络模型。 训练神经网络的目标是在这两方面找到一个良好的平衡。 八、技巧7:选择学习率 学习率是模型权重在算法的每次迭代中更新的量。较小的学习率可能导致收敛较慢,但可能得到更好的结果,而较大的学习率可能导致更快的收敛,但可能得到不太理想的结果。 参考:vx公众号:Google数据科学、深蓝AI 总结 神经网络训练是一个非常复杂的过程,在这过程中,许多变量之间相互影响,因此在这过程中,很难搞清楚这些变量是如何影响神经网络的。

    43610编辑于 2024-03-19
  • 来自专栏Golang语言社区

    channel机理及调度理解

    libtask库的channel的数据结构如下: 1struct Alt 2{ 3Channel *c; 4void *v; 5unsigned int op; 6Task *task; 7Alt

    52430发布于 2018-07-26
  • 来自专栏Golang语言社区

    channel机理及调度理解

    libtask库的channel的数据结构如下: 1struct Alt 2{ 3Channel *c; 4void *v; 5unsigned int op; 6Task *task; 7Alt

    43330发布于 2018-07-26
  • 来自专栏机器学习算法与Python学习

    Torch7搭建卷积神经网络详细教程

    本篇博文主要讲述在Torch7神经网络如何建立以及相关的原理(即神经网络包NN的内容),虽然讲述的是神经网络的建立。 但是不会涉及太多神经网络的知识,假如你对该领域不是很了解,可以去之前的几篇博文里面充充电。 首先简单的介绍一下Torch7中的神经网络工具包,该包是由不同的模块组合而成。 很自然的,有了性能指标之后我们需要考虑如何优化该性能指标,这儿分为两种,一种是使用Torch7内部的优化函数包Optim来优化(简单,上手快),另一种则是采用迭代法更新权值(该方法一般用于简单的网络,当存在卷积层时 首先将Torch7中的nn包导入到工作区(注意语句结束加“;”),这儿使用require关键字,如下所示。 ? 2. 7. 将三维的Tensor转换成一维的Tensor,如下所示。 ? 8. 添加16*6*6=576与200的线性全连接层,如下所示。 ? 9. 添加激活函数,如下所示。 ? 10.

    1.1K140发布于 2018-04-08
  • 来自专栏AustinDatabases

    PostgresQL MVCC 机理与 还得学习

    昨天写了些 MYSQL MVCC ,今天就的搞搞 PostgresQL 的MVCC ,最近从某些网站上获得的信息,PostgresQL的 相关人员的需求量在国内开始增加,但和需求相比,会的人少,所以你懂得。

    83830发布于 2019-09-05
  • 来自专栏网络信息安全

    熊猫烧香(中)病毒释放机理

    熊猫烧香(中)病毒释放机理 1、sub_40277C子函数 2、sub_405684子函数 3、sub_403ED4子函数 4、sub_4057A4子函数 5.分析sub_4057A4后续删除功能 6. 该函数功能主要是获取当前进程已加载模块文件的完整路径 第六步,回到OD中,F7进入该函数 接着选中PathBuffer值,右键点击“数据窗口中跟随”。 进入函数后我们发现了粗线条,说明它是一个循环 我们在循环处F7步入,也就是上图 mov eax, [local.1] 注意这里简单介绍下局部变量的概念。 0x020F0138 第二步,按下F8运行至Call 4057A4函数,再按F7进入该函数分析。 00 00 00 00 第二步,我们按下F7进入这个call,查看具体内容。

    72910编辑于 2024-03-12
  • 来自专栏计算机视觉

    7大类卷积神经网络(CNN)创新综述

    深度卷积神经网络(CNN)是一种特殊类型的神经网络,在各种竞赛基准上表现出了当前最优结果。 根据架构修改的类型,CNN可以大致分为7类:基于空间利用、深度、多路径、宽度、通道提升、特征图利用和注意力的CNN。深度CNN架构的分类如图3所示。 1、基于空间利用的CNN CNN有大量参数,如处理单元数量(神经元)、层数、滤波器大小、步幅、学习率和激活函数等。 7、基于注意力的CNN 不同的抽象级别再定义神经网络的鉴别能力方面有着重要的作用。除此之外,选择与上下文相关的特征对于图像定位和识别也很重要。在人类的视觉系统中,这种现象叫做注意力。 (CNN)是一种特殊类型的神经网络,在各种竞赛基准上表现出了当前最优结果。

    89210编辑于 2024-10-25
  • 来自专栏深度学习和计算机视觉

    7大类卷积神经网络(CNN)创新综述

    深度卷积神经网络(CNN)是一种特殊类型的神经网络,在各种竞赛基准上表现出了当前最优结果。 根据架构修改的类型,CNN 可以大致分为 7 类:基于空间利用、深度、多路径、宽度、通道提升、特征图利用和注意力的 CNN。深度 CNN 架构的分类如图 3 所示。 2001 年,Csáji 表示了通用近似定理,指出单个隐藏层足够逼近任何函数,但这需要指数级的神经元,因而通常导致计算上行不通。 Lu 等人和 Hanin & Sellke 最近表明,带有线性整流激活函数的神经网络要足够宽才能随着深度增加保持通用的近似特性。 (CNN)是一种特殊类型的神经网络,在各种竞赛基准上表现出了当前最优结果。

    1.2K20编辑于 2022-09-28
  • 来自专栏全栈程序员必看

    RAII机制_机制与机理的区别

    RAII的基本思想就是当对象的生命周期结束时,自动调用起析构函数。那以下将围绕RAII,全面的讲解RAII的相关知识。

    75720编辑于 2022-11-16
  • 方法论|机理分析法

    为什么需要机理分析法 在现实生活中,影响一个问题的因素往往不止一个,分析问题时就需要从不同方向考虑,所以就引入了机理分析法 算法分析过程和应用步骤: 首先分析现象和结果的影响因素;然后在合理的假设条件下做出各种因素与现象和结果的关系 结语 在运用机理分析法时需要考虑各个因素,对于不同的因素可能需要不同的思考方式,最后得出结果时,还要结合实际情况验证分析的正确性。 END

    1.4K20发布于 2019-10-14
  • 来自专栏贾维斯Echo的博客

    计算机理论基础

    4.一到两周一个一个小版本,一个月一次大版本,期间不定个数bug修改版本 6运维的三大职责   1.优化网站,提升用户体验   2.做好数据备份,保证数据安全   3、保证服务器7X24小时不间断运行,

    63730编辑于 2023-10-18
  • 来自专栏AI研习社

    7个深度神经网络可视化工具,不可错过!

    Netscope 是一个支持 prototxt 格式描述的神经网络结构的在线可视工具。 参考阅读: Netscope: 支持 Caffe 的神经网络结构在线可视化工具 Caffe 学习系列 (18): 绘制网络模型 Caffe 学习系列——工具篇:神经网络模型结构可视化 深度网络的设计与可视化工具 PlayGround 是一个图形化用于教学目的的简单神经网络在线演示、实验的平台,非常强大地可视化了神经网络的训练过程。 ? 参考阅读: [知乎] 谁能详细讲解一下 TensorFlow Playground 所展示的神经网络的概念? CNNVis,帮助机器学习专家更好的理解、分析、设计深度卷积神经网络。

    15.4K42发布于 2018-03-19
  • 来自专栏ShowMeAI研究中心

    深度学习与CV教程(7) | 神经网络训练技巧 (下)

    代码如下: eps = 1e-7 grad_squared = 0 while True: dW = compute_gradient(W) grad_squared += dW * dW 2.1 正则化的动机 当我们增加神经网络隐藏层的数量和尺寸时,网络的容量会上升,即神经元可以合作表达许多复杂函数。例如,如果有一个在二维平面上的二分类问题。 我们可以训练 3 个不同的神经网络,每个网络都只有一个隐藏层,但是隐藏层的神经元数目不同,结果如下: [正则化; 隐藏层神经元数目不同] 在上图中,可以看见有更多神经元的神经网络可以表达更复杂的函数。 [正则化; 改变正则化强度] 上图每个神经网络都有 20 个隐藏层神经元,但是随着正则化强度增加,网络的决策边界变得更加平滑。所以,正则化强度是控制神经网络过拟合的好方法。 [Dropout 随机失活; 核心思路] 一个三层的神经网络 Dropout 示例代码实现: """ 普通版随机失活""" p = 0.5 # 神经元被激活的概率。

    82762编辑于 2022-06-01
  • 来自专栏机器之心

    7 Papers & Radios | 谷歌等用神经网络给照片打光;沈向洋等神经语言处理综述

    机器之心 & ArXiv Weekly Radiostation 参与:杜伟、楚航、罗若天 本周的重要论文有谷歌等研究机构用神经光传输为照片二次打光的探索,以及沈向洋等从建模、学习和推理三方面展开的神经 uri=optica-7-8-900 摘要:想象一下,你闭着眼睛朝一只动物大吼,然后根据回声就能判断这只动物是猫是狗。听起来是不是很不可思议? Shum 链接:https://www.sciencedirect.com/science/article/pii/S2095809919304928 摘要:在这篇论文中,包括沈向洋在内的几位研究者对基于神经网络的神经语言处理框架进行了综述 文章最后,研究者展望了神经语言处理的未来发展方向。 ? 与上下文无关的词嵌入方法。 ? 基于 RNN 的上下文感知词嵌入方法。 ? 基于自注意力的上下文感知词嵌入方法。 (from Ming-Hsuan Yang) 7. Learning to Factorize and Relight a City. (from Alexei A.

    63840发布于 2020-08-18
  • 来自专栏机器之心

    7 Papers & Radios | DeepMind「通才」AI智能体Gato;计算机理论顶会STOC2022奖项公布

    推荐:计算机理论顶会 STOC2022 最佳学生论文。 推荐:计算机理论顶会 STOC2022 最佳学生论文。 推荐:计算机理论顶会 STOC2022 最佳论文。 研究者采用的生成器_包含一个全卷积神经网络_ (·),该网络由具有一些骨骼感知卷积层和其后的非线性层。 推荐:ETH、谷歌用单个序列玩转神经动作合成,入选 SIGGRAPH。

    67220编辑于 2022-05-16
  • 来自专栏机器之心

    机器学习模型以出色的精度进行有机反应机理分类

    近日,来自英国曼彻斯特大学(UoM)化学系的 Burés 和 Larrosa 报告了一种机器学习模型,展示了可以训练深度神经网络模型来分析普通动力学数据并自动阐明相应的机理类别,而无需任何额外的用户输入 该模型以出色的精度识别各种类型的机理。 研究结果表明,人工智能引导的机理分类是一种强大的新工具,可以简化和自动化机理阐明。预计这项工作将进一步推动全自动有机反应发现和开发的发展。 模型包含 576,000 个可训练参数,并结合使用两种类型的神经网络:(1) 长短期记忆神经网络,一种用于处理时间数据序列(即时间浓度数据)的循环神经网络;(2) 全连接神经网络,用于处理非时间数据(即每次动力学运行中催化剂的初始浓度和长短期记忆提取的特征 预测的机理与早期动力学研究的结论非常吻合。在某些情况下,该模型还识别了在原始工作中没有检测到的机理细节。对于一个具有挑战性的反应,该模型提出了三个非常相似的机理类别。 参考内容:https://www.nature.com/articles/d41586-023-00145-7 人工智能 × [ 生物 神经科学 数学 物理 材料 ] 「ScienceAI」关注人工智能与其他前沿技术及基础科学的交叉研究与融合发展

    73030编辑于 2023-03-29
  • 来自专栏悦思悦读

    AI 入行那些事儿(7)深度神经网络的发展及其应用

    2021 巨献 —— 系列文章《AI 入行那些事儿》,为您讲述: 人工智能的基础原理、发展历程、当前应用 成为 AI 技术人员所需的入门技能和学习途径 以及求职、面试的全过程 几度沉浮的神经网络 神经网络模型的发展几经沉浮 早期的神经网络结构过于简单,层数、神经元都太少了,因此得出的模型往往质量不高,如果增加层数和神经元,把结构做得很复杂,又会因为数据和硬件运算力不足导致无法运行。 直到2006年,加拿大多伦多大学的辛顿(Hinton)教授发表了一篇关于深度神经网络的论文,把当时硬件的发展和神经网络结合起来,将GPU应用到深度学习的训练中。 这一次运算力的问题终于被解决了,神经网络在理论研究和硬件设备两个必要条件都具备了。同一时期大数据技术的发展又为训练深层神经网络提供了原材料。 ? 神经网络又一次被推上了高潮,深度神经网络成了学术界和工业界共同的青睐,深度学习领域也随之出现了。 深度学习 vs 机器学习 机器学习和深度学习最主要的区别是特征提取不同。

    1.2K10发布于 2021-03-04
  • 来自专栏全栈程序员必看

    多层感知机理解(多层感知机原理)

    这两种网络都属于前馈型网络(Feedforward network),其中多层感知器(MLP)是最简单也是最常见的一种神经网络结构,它是所有其他神经网络结构的基础, 好在我对神经网络的了解是从卷积神经网络开始的 ,对基本的原理和模型已经有了了解,所以学习起来相对容易,先看多层感知机的模型: 如何设计一个网络,输入代表像素的值,输出0-9之间的一个正确的数字 先把神经元当做数字 每个神经元里面是我们要提取的特征值,即像素的灰度值,0表示纯黑,1 表示纯白 这784个神经元组成了第一层,即神经网络的输入层 网络的最后一层是输出层,输出的是可能的概率,哪个概率最大,就代表识别的结果是哪个数字 , 权重代表我们关注什么样的图案,而偏置值代表加权和有多大激活神经元才有意义 在网络的第二层,每一个神经元都和上一层的784个神经元保持全连接 每个神经元都带一个权重和偏置值 ,对应的权重对结果影响相对更大,所以增加相对亮的神经元,训练的效率会更高 所以当反向传播的时候,不仅要看高边哪些权重,还要看改变那些权重性价比高 如何改变上一层的输出 和更改权重一样

    2K50编辑于 2022-07-26
  • 来自专栏CVer

    看了这7篇论文,你会完全掌握卷积神经网络!

    目前,作为深度学习的代表算法之一,卷积神经网络(Convolutional Neural Networks,CNN)在计算机视觉、分类等领域上,都取得了当前最好的效果。 ? 后来,基于深度神经网络和搜索树的智能机器人“AlphaGo”在围棋上击败了人类,这是CNN 给人们的一个大大的惊喜。 可以说,卷积神经网络是深度学习算法应用最成功的领域之一。 目前,CNN应用也十分广泛。 而研读卷积神经网络的经典论文,对于学习和研究卷积神经网络必不可缺。 今天,给大家推荐一些资料,有论文、知识图谱。 7份经典学术论文 这些论文大部分都发表在计算机视觉顶级学术会议上。 这7份论文资料,100p以上的内容体量。建议收藏学习。 01 resnet ? 02 CNN ? 03 batchnorm ? 04 alexnet ? 05 visualzing ?

    1.1K40发布于 2020-08-06
领券