- 综合排序
- 最热优先
- 最新优先
- 来自专栏石云升
《深度工作》学习笔记（4）
深度工作哲学其实就是刻意练习的一种方式，但是在早期还没有养成习惯前，我们还需要主动降低养成习惯的难度。 我自己的个人感受是，有2个关键点是可以主动降低进入深度工作难度的。 1、最容易进入专注状态的时间段。比如每天早上刚起来，或者睡觉前。 状态一旦养成，进入深度工作的能力就会得到加强。在一开始不要追求时间长度，这是一个渐进的过程。除了习惯之外，书中还提出了一种大手笔方式可以促进你进入深度工作。大手笔指的是大花销。
35510编辑于 2022-08-25 - 来自专栏机器学习原理
深度学习——CNN（4）分析
前言：自己构建CNN网络结构训练一个验证码识别的模型 分析 假定验证码中只有：数字、大小写字母，验证码的数目是4个，eg: kx3S 步骤如下： 1.收集数据，验证码的数据集合可以自己生成 生成的验证码如下 image.png 代码如下： def random_code_text(code_size=4): """ 随机产生验证码的字符 :param code_size: : code_char_set) code_text.append(c) return code_text def generate_code_image(code_size=4) 可以采用三成网络结构进行模型构建 def code_cnn(x, y): """ 构建一个验证码识别的CNN网络 :param x: Tensor对象，输入的特征矩阵信息，是一个4维的数据 定义优化函数 train = tf.train.AdamOptimizer(learning_rate=0.0001).minimize(cost) # 4.
59340发布于 2018-06-04 - 来自专栏机器学习/数据可视化
深度学习4大激活函数
深度学习4大激活函数 如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出实际上都是上层输入的线性函数。 本文将介绍深度学习中的4个常见的激活函数，从原函数公式、导数函数及二者的可视化来进行对比： Sigmoid函数 Tanh函数 ReLu函数 Leaky ReLu函数 激活函数特征 非线性：激活函数满足非线性时 在深度学习中，梯度更新是从后向前更新的，这也就是所谓的反向传播（Backpropagation algorithm），而反向传播的核心是链式法则。 frac{a-b}{a+b}\right){\prime}=\frac{(a-b)^{\prime} \times(a+b)-(a-b) \times(a+b){\prime}}{(a+b)2} 步骤4、 Relu函数 ReLu函数是目前深度学习中比较流行的一种激活函数。 原函数 ReLU函数, 也称之为线性整流函数(Rectified Linear Unit), 是神经网络结构中常用的非线性激活函数。
87530编辑于 2023-08-25 - 来自专栏计算机视觉
深度学习500问——Chapter03：深度学习基础（4）
3.7 预训练与微调（fine tuning） 3.7.1 为什么无监督预训练可以帮助深度学习 深度网络存在的问题： 网络越深，需要的训练样本数越多。 这时候，直接应用这些数据训练一个网络的想法就不可行了，因为深度学习成功的一个关键性因素就是大量带标签数据组成的训练集。 Cognitive modeling, 1988, 5(3): 1. [4] Hecht-Nielsen R. Foundations and Trends® in Signal Processing, 2014, 7(3–4): 197-387. [19] Erhan D, Bengio Y, Courville 深度学习优化与识别[M].清华大学出版社,2017. [23] 吴岸城.
37410编辑于 2024-03-24 - 来自专栏用户5305560的专栏
【Python深度学习之路】-4 监督学习
【Python深度学习之路】-4 监督学习 4.1 了解监督学习（分类） 监督学习：根据积累的经验数据对新的数据或将来的数据进行预测，或者进行分类的一种学习方式。 无监督学习：对积累的经验数据中所存在的结构，以及关联性进行分析的学习方式。 强化学习：通过设定报酬、环境等条件来实现学习效果最大化的一种学习方式。 监督学习的分类： 回归：通过读取现存数据中的关联性，并根据这些关联性来实现数据预测的一种算法。（针对连续性的值） 分类：以数据预测为目的对离散值进行预测。 y = make_classification(n_samples=100, n_features = 2, n_redundant=0, random_state=42) # 将数据划分为用于学习的部分和用于评估的部分
68530编辑于 2022-11-02 - 来自专栏CreateAMind
解决深度学习4大缺陷
鉴于研究中研究的学习和信用分配方案，在第 4 节中，我们考虑了神经科学启发的机器学习研究面临的重要开放性问题和挑战，以及可能取得进展的有前景的问题领域。 当用于标准的深度学习任务，如图像分类时，这些算法表现得和其他生物上合理的算法一样好，并且也避免了上述许多不合理之处[19]。 4 Future Directions for Research未来研究方向 尽管近年来在生物启发式（bio-inspired）学习方法方面取得了显著的进展和活动，但这些方法尚未达到反向传播（backpropagation 为此，未来的努力应该集中在为深度学习模型实现生物可行的更新规则，例如LSTM，或者受控制理论启发的模型，例如卡尔曼滤波器。 深度学习，作为神经科学的近亲，现在能够在许多任务上达到并超越人类水平的表现，解决了类似于大脑使用反向传播算法的问题，这是高度神经科学上不合理的。
67810编辑于 2024-04-19 - 来自专栏计算机视觉
深度学习500问——Chapter10：迁移学习（4）
11.3.9 什么是finetune 深度网络的finetune也许是最简单的深度网络迁移方法。Finetune，也叫微调、fine-tuning，是深度学习中的一个重要概念。 这个问题对于理解神经网络以及深度迁移学习都有着非常重要的意义。 就是说，第4第5层精度下降的时候，主要是由于A和B两个数据集的差异比较大，所以会下降；到了第6第7层，由于网络几乎不迭代了，学习能力太差，此时 feature 学不到，所以精度下降得更厉害。 这在迁移学习中也是不成立的。因此，我们需要更进一步，针对深度网络开发出更好的方法使之更好地完成迁移学习任务。 正是基于这样的领域对抗的思想，深度对抗网络可以被很好地运用于迁移学习问题中。
41110编辑于 2024-06-15 - 来自专栏AiCharm
深度学习经典网络解析：4.DenseNet
众所周知，CNN已经成为了深度学习方向最主要的网络结构之一。 Fractal Nets通过将不同深度的网络并行化，在获得了深度的同时保证了梯度的传播，随机深度网络通过对网络中一些层进行失活，既证明了ResNet深度的冗余性，又缓解了上述问题的产生。 这里1×1卷积的作用是固定输出通道数，达到降维的作用，1×1卷积输出的通道数通常是GrowthRate的4倍。 features, 7, stride=1).view(features.size(0), -1) out = self.classifier(out) return out 深度学习经典网络解析 ：2.AlexNet 深度学习经典网络解析：1.LeNet-5
5.3K31编辑于 2023-05-15 - 来自专栏caoqi95的记录日志
深度学习笔记4-模型优化算法
「这里记录的是吴恩达Andrew Ng在深度学习课程中提到过的优化算法，以及其他受推荐的优化算法。 如果采用较大的学习速率，摆动就会超出函数的范围（如紫色线所示）。所以要采取的策略就是使垂直方向上的学习速度减慢，使水平方向上的学习速度加快。Momentum就是这样的一种策略。 采用Momentum能够使垂直方向上的学习变慢的原因是计算上下摆动的平均值，平均过程中垂直方向上正负值抵消，最后可以使平均值接近于0。 策略也是在垂直方向上减慢学习速度，在水平方向上则加快学习速度。实行过程与Momentum相似，但有一点差异。 同理计算sdb=βsdb+(1-β)db2； 最后更新权重w = w-αdw/sqrt(sdw+ε)和偏置b = b-αdb/sqrt(sdb+ε) (常用ε=10-8,加上ε是防止分母为零的情况出现) 4.
81620发布于 2019-03-27 - 来自专栏NowlNowl_AI
深度学习第4天：感知机模型
感知机模型介绍 感知机是一种很简单的二分类模型，给它一组特征，它输出是或者否 神经网络搭建感知机 在这一节中，我们使用Keras来搭建神经网络，Keras是一个python的深度学习框架 本节我们创建一个简单的判断输入是正数还是负数的感知机模型 以我的理解，单层感知机和多层感知机都只是形式化了的模型的某种结构，在具体任务中，我们的模型架构将是灵活多变的，我们主要应该了解的是模型的某一部分的作用，以便我们在遇到问题时能搭建出对应的模型，跟着本专栏继续学习下去吧
29110编辑于 2024-01-18 - 来自专栏机器学习算法与理论
《白话深度学习与Tensorflow》学习笔记（4）Deep Residual Networks
深度残差网络：主要应用于计算机视觉——图像分类、语义分割（semantic segmentation）、目标检测（object detection），其主要是使用CNN进行改造。 普通CNN网络的问题（plain network）：一层的网络数据只能来源于前一层，网络越深，学习到的东西就越多，收敛速度越慢，时间越长，但是由于网络深度 加深而产生学习率变低，准确率无法提升（出现了网络退化 在深度残差网络中，引入了短路设计，将前若干层的数据输出直接跳过多层（一般为2层）而引入到后面的数据层的输入部分。就是前面层的较为清晰的向量数据会和后面有损压缩过的数据共同作为后面数据的输入。 网络发生类似并联的情况是会提高网络本身学习的容纳能力！
1K60发布于 2018-04-10 - 来自专栏计算机视觉
深度学习500问——Chapter02：机器学习基础（4）
随着树的深度不断增加，分支节点的子集越来越小，所需要提的问题数也逐渐简化。 当分支节点的深度或者问题的简单程度满足一定的停止规则（Stopping Rule）时，该分支节点会停止分裂，此为自上而下的停止阈值（Cutoff Threshold）法；有些决策树也使用自上而下的剪枝（ 8、效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。 决策树算法的缺点： 1、对连续性的字段比较难预测。 2、容易出现过拟合。 4、在处理特征关联性比较强的数据时表现得不是太好。 5、对于各类别样本数量不一致的数据，在决策树中，信息增益的结果偏向于那些具有更多数值的特征。 (4) SVM是一种有坚实理论基础的新颖的适用小样本学习方法。它基本上不涉及概率测度及大数定律等，也简化了通常的分类和回归等问题。
37110编辑于 2024-03-19 - 来自专栏奇点大数据
深度学习工程师的4个档次
最近不少朋友问我，转行做深度学习的话，能不能找到工作，能找到什么样的工作，能达到什么样的收入水平…… 这种问题其实不仅仅是存在与深度学习行业的入门和转型中的思考阶段了，在其它的行业和技术领域同样有这样的困惑和疑问 那么对于深度学习这个领域目前阶段的发展来说，一个工程师要具备什么样的素质才能算是达到要求呢？我想可能可以粗略地分成4个档次吧。 如果实在没有这方面的能力或者经验，可以从LEVEL2做一个过渡，那就是读懂并理解第三方代码的深刻含义和各个部分的门道，然后做一些调整和深度修改。 LEVEL4：新的模型建议 当你对深度学习各方面理论有了足够透彻的见解，通常都会深入地去研究一个方向而不是再涉猎广泛地去各种下载代码和让他们跑起来——物体检测、人脸识别、自动驾驶、声音转换等等一系列方向都是可以尝试的 这是每个深度学习工程师都值得去努力追求的方向。
1K70发布于 2018-04-10 - 来自专栏AI科技时讯
吴恩达深度学习课程笔记-Classes 4
Classes 4 卷积神经网络 1卷积神经网络 1 计算机视觉 应用： 图片分类 图片识别 目标检测 风格迁移 .... ... 1.2 边缘检测 ? ? 一般而言，最大池化比平均池化要常用些，但例外就是深度很深的神经网络，可以用平均池化来分解规模为 7×7×1000 的网络的表示层，在整个空间内求平均值，得到1×1×1000，取代全连接层。 池化过程中没有需要学习的参数。执行反向传播时，反向传播没有参数适用于最大池化。 2.6 计算机视觉现状 数据量少：传统机器学习方法，手工特征工程，迁移学习等 数据量大：深度学习方法 提升基准测试或者竞赛： 集成：训练多个分类器，取均值 multi-crop：对同一张图随机裁剪10次 4 特殊应用 4.1 人脸识别 人脸验证与人脸识别的区别 ? 人脸验证问题：如果你有一张输入图片，以及某人的 ID 或者是名字，这个系统要做的是，验证输入图片是否是这个人。
80620发布于 2020-04-14 - 来自专栏paddle深度学习
paddle深度学习4 向量的索引与切片
Tensor，可以仿照python的列表，使用从0开始整数顺序索引import paddlea=paddle.arange(1,7)print(a)print(a[0],a[1],a[2],a[3],a[4] ,a[5])也可以使用负数索引，反向遍历Tensorimport paddlea=paddle.arange(1,7)print(a)print(a[-1],a[-2],a[-3],a[-4],a[-5 选取某个元素就要用到两个整数指定它所在的行和列数字之间用逗号隔开，可以使用正负数，也可以正负数混用import paddlea=paddle.reshape(paddle.arange(1,13),(3,4) )print(a)print(a[0,1:4])a[0,1:4]就表示选取向量a的第0行中的第1~第3元素((1,4)，左闭右开)与numpy同理，在这里a[0,:2]表示a[0,0:2]a[0,2:] 表示a[0,2:4]大家可以自行尝试
44800编辑于 2024-05-19 - 来自专栏红色石头的机器学习之路
系列笔记 | 深度学习连载（4）：优化技巧（上）
深度学习中我们总结出 5 大技巧： 1. New activation function 深度学习中我们总结出5大技巧：本节我们就从新的激活函数Relu谈起。 新的激活函数 new activation function 我们知道，激活函数在基于神经网络的深度学习中将线性变换，转换为非线性变换。是神经网络能够学到东西的重要一环。 生物学原理（貌似是大脑回路，不太了解） 3. linear piece 可以模拟任何函数（在以后的深度学习理论会讲） 4. | 深度学习连载（2）：梯度下降 系列笔记 | 深度学习连载（3）：反向传播
33010编辑于 2022-01-14 - 来自专栏机器学习与python集中营
系列笔记 | 深度学习连载（4）：优化技巧（上）
重磅干货，第一时间送达 ☞机器学习、深度学习、python全栈开发干货 作者：AI有道 来源：AI有道 深度学习中我们总结出 5 大技巧： 1. New activation function 深度学习中我们总结出5大技巧：本节我们就从新的激活函数Relu谈起。 新的激活函数 new activation function 我们知道，激活函数在基于神经网络的深度学习中将线性变换，转换为非线性变换。是神经网络能够学到东西的重要一环。 生物学原理（貌似是大脑回路，不太了解） 3. linear piece 可以模拟任何函数（在以后的深度学习理论会讲） 4. 重点是：可以解决梯度消失的问题 Relu 可以简化神经网络： 虽然Relu看起来很好（有严格数学证明，以后会深入讲），但是在小于0的时候导数为0，对于参数学习是不利的：所以我们引入
61120发布于 2020-01-13 - 来自专栏想到什么就分享
李宏毅《机器学习》丨4. Deep Learning（深度学习）
文章目录 一、深度学习发展历史 二、深度学习三个步骤 2.1 Step1：神经网络（Neural network） 2.2 Step2：模型评估（Goodness of function） 2.3 Step3 ：选择最优函数（Pick best function） 三、深度学习思考 四、总结 一、深度学习发展历史 1958: Perceptron (linear model) 1969: Perceptron Gradient Descent（梯度下降） 反向传播（Backpropagation）：BP（Back Propagation）神经网络——原理篇 三、深度学习思考 为什么要用深度学习，深层架构带来哪些好处 ▲ 普遍性定理 四、总结 Datawhale组队学习，李宏毅《机器学习》Task4. Deep Learning（深度学习）。 主要包括深度学习发展历史、深度学习三个步骤：神经网络 模型评估 选择最优函数、深度学习思考。 —— END ——
79320编辑于 2022-08-30 - 来自专栏技术小站
吴恩达深度学习笔记 course4 week4 测验
True False √ 第 4 个问题 1 point 4. 第 4 个问题 Which of the following is a correct definition of the triplet loss? 【★】为了解决一次学习的问题。 【 】这可以让我们使用softmax函数来学习预测一个人的身份，在这个单元中分类的数量等于数据库中的人的数量加1。 【 】鉴于我们拥有的照片很少，我们需要将它运用到迁移学习中。 We don’t need to use transfer learning. 我们不需要使用迁移学习。 4.下面哪个是三元组损失的正确定义（请把 αα也考虑进去）？
1.2K40发布于 2018-10-09 - 来自专栏数据科学与人工智能
【深度学习】深度学习
深度学习的起源 深度学习（Deep Learning）是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网络。深度学习属于无监督学习。 深度学习的概念源于人工神经网络的研究。 深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。含多隐层的多层感知器就是一种深度学习结构。 深度学习的动机 学习基于深度架构的学习算法的主要动机是： ①不充分的深度是有害的； 在许多情形中深度2就足够(比如logicalgates, formal[threshold] neurons –Deep Learning [3] 深度学习(Deep Learning, DL)的相关资料总结 [4] UFLDL教程 [5] Hinton, Geoffrey E., Simon Osindero
2.4K72发布于 2018-02-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号