- 综合排序
- 最热优先
- 最新优先
- 来自专栏计算机工具
深度学习10：Attention 机制
Attention 的本质是什么 Attention（注意力）机制如果浅层的理解，跟他的名字非常匹配。他的核心逻辑就是「从关注全部到关注重点」。 Attention 机制很像人类看图片的逻辑，当我们看一张图片的时候，我们并没有看清图片的全部内容，而是将注意力集中在了图片的焦点上。 AI 领域的 Attention 机制 Attention 机制最早是在计算机视觉里应用的，随后在 NLP 领域也开始应用了 如果用图来表达 Attention 的位置大致是下面的样子： 这里先让大家对 Attention 有一个宏观的概念，下文会对 Attention 机制做更详细的讲解。 Attention机制每一步计算不依赖于上一步的计算结果，因此可以和CNN一样并行处理。
1K10编辑于 2024-12-14 - 来自专栏机器之心
如何解读决策树和随机森林的内部工作机制？
因此决策树就可以看作由条件 if（内部节点）和满足条件下对应的规则 then（边）组成。 决策树的工作方式是以一种贪婪（greedy）的方式迭代式地将数据分成不同的子集。 图 1：一个决策树的迭代过程 决策树的贡献 以鲍鱼数据集（https://archive.ics.uci.edu/ml/datasets/abalone）为例。 为了演示，我们构建了一个很浅的决策树。我们可以通过将树的最大层数限制为 3 而得到这个树。 ? 图 2：预测不同环数的决策树路径 要预测鲍鱼的环的数量，决策树将沿着树向下移动直到到达一个叶节点。 图 10：多项分类的决策树路径 每个节点都有 3 个值——该子集中雌性、雄性和幼体各自的比例。 上图这一组数据表明： 最小值等于 5 最大值等于 10 平均值为 8 下四分位数为 7，即第一四分位数（Q1），等于该样本中所有数值由小到大排列后第 25% 的值。
1.4K100发布于 2018-05-08 - 来自专栏FreeBuf
如何绕过Windows 10的CFG机制
2016年6月，Theori曾发表了一篇关于MS16-063中修补了的IE漏洞分析，文中发布的exploit则仅是针对Windows7上的IE 11版本，此外由于Windows 10采用了CFG机制所以无法对 Windows 10机器进行利用。 了解CFG 控制流保护（Control Flow Guard，CFG）是微软在Windows 8.1 update 3和Windows 10下实现的一个保护机制，用以保护在汇编层下的直接调用。 Theori在其博文中讲到由于CFG机制，无法成功在Windows 7上成功利用，接下来就让我们来细究一二，然后尝试绕过它。 说了这么多，微软做了两个事情来解决这个问题，首先在Windows 10即将到来的版本中，将引进RFG机制（Return Flow Guard），防止通过损坏堆栈以获取执行控制的方式。
2.1K60发布于 2018-02-09 - 来自专栏木东居士的专栏
决策树1：初识决策树
因为它的运行机制能很直接地被翻译成人类语言，即使对建模领域完全不了解的非技术人员也能很好地理解它。因此在学术上被归为白盒模型（white box model）。 0x01 决策树的思想 1.1 什么是决策树 决策树是一种常见的机器学习算法，它的思想十分朴素，类似于我们平时利用选择做决策的过程。 2.2 决策树损失函数 与其他模型相同，决策树学习用损失函数表示这一目标。决策树学习的损失函数通常是正则化的极大似然函数。决策树学习的策略是以损失函数为目标函数的最小化。 3 决策树的构建 决策树通常有三个步骤： 特征选择 决策树的生成 决策树的修剪 决策树学习的算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得对各个子数据集有一个最好的分类的过程。 决策树生成和决策树剪枝是个相对的过程，决策树生成旨在得到对于当前子数据集最好的分类效果(局部最优)，而决策树剪枝则是考虑全局最优，增强泛化能力。
1.6K20发布于 2019-12-23 - 来自专栏用户画像
决策树
https://blog.csdn.net/jxq0816/article/details/82829502 决策树通过生成决策规则来解决分类和回归问题。 但是由于决策树在理论上能无限制地划分节点 前剪枝：在划分节点之前限制决策树的复杂度，通过一些阈值来限制决策树的生长，比如max_depth、min_sample_split等参数。 后剪枝：在决策树构建完成之后，通过剪枝集修改树的结构，降低它的复杂度。 这两种方法相比，前剪枝的实现更加容易，也更加可控，因为在实际应用中应用得更加广泛。 决策树最大的缺点在于模型的最后一步算法过于简单：对于分类问题，只考虑叶子节点里哪个类别占比最大；而对于回归问题，则计算叶子节点内数据的平均值。这导致它在单独使用时，预测效果不理想。 因此在实际中，决策树常常被用来做特征提取，与其他模型联结起来使用。
67830发布于 2018-09-29 - 来自专栏数据处理
决策树
决策树归纳的基本算法是贪心算法，它以自顶向下递归各个击破的方式构造决策树。 贪心算法：在每一步选择中都采取在当前状态下最好的选择。 在其生成过程中，分割方法即属性选择度量是关键。 根据分割方法的不同，决策树可以分为两类：基于信息论的方法（较有代表性的是ID3、C4.5算法等）和最小GINI指标方法（常用的有CART，SLIQ及SPRINT算法等）。
79740发布于 2018-06-01 - 来自专栏Linux驱动
10.按键之互斥、阻塞机制(详解)
本节目标: 学习原子操作和互斥信号量,实现互斥机制,同一时刻只能一个应用程序使用驱动程序 学习阻塞和非阻塞操作 当设备被一个程序打开时，存在被另一个程序打开的可能，如果两个或多个程序同时对设备文件进行写操作
1.2K60发布于 2018-01-03 - 来自专栏海天一树
决策树
一、 决策树简介 决策树是一种特殊的树形结构，一般由节点和有向边组成。其中，节点表示特征、属性或者一个类。而有向边包含有判断条件。 0.5 - 0.5) = 1.5 例4： p1 = p2 = p3 = p4 = 0.25，则Ent(D) = 2 例5： p1 = p2 = p3 = p4 = 1/1024，则Ent(D) = 10 2,2,2,4,0,1,0 2,2,2,4,0,2,1 2,2,2,4,1,0,0 2,2,2,4,1,1,0 2,2,2,4,1,2,1 对于上面的十五行数据，咱们可以把前1/3（即前5行）数据做为测试集，把后2/3（即后10 len(sub_label) / len(label) * entropy print("result:", result) return result （二）划分属性 训练集的数据（后10 此时的决策树为 ?
1.2K20发布于 2018-08-17 - 来自专栏小明的博客
决策树
决策树学习 决策树是一种用来进行分类和回归的无参有监督学习方法，其目的是创建一种模型，从模型特征中学习简单的决策远着呢，从而预测一个目标变量的值。 ，默认为None，表示所有叶子节点为纯节点 对数据集构造决策树，首先生成DecisionTreeClassifier类的一个实例（如clf），然后使用该实例调用fit()方法进行训练。 对训练好的决策树模型，可以使用predict()方法对新的样本进行预测。 sklearn.tree模块提供了训练的决策树模型的文本描述输出方法export_graphviz()，如果要查看训练的决策树模型参数，可以使用该方法，其格式为： sklearn.tree.export_graphviz #例8-3 构造打篮球的决策树 import numpy as np import pandas as pd #读数据文件 PlayBasketball = pd.read_csv('D:/my_python
83520编辑于 2022-09-05 - 来自专栏程序员IT圈
10 分钟理解 JS 引擎的执行机制
作者： ziwei3749 原文：https://segmentfault.com/a/1190000012806637 首先，请牢记2点： JS是单线程语言 JS的Event Loop是JS的执行机制 是通过的事件循环(event loop)，理解了event loop机制，就理解了JS的执行机制。 3.JS中的event loop(2) 所以，上面关于event loop就是我对JS执行机制的理解，直到我遇到了下面这段代码。 步骤，结合event loop(1) event loop(2)，就是更为准确的JS执行机制了 尝试按照刚学的执行机制，去分析例2： 首先执行script下的宏任务，遇到setTimeout,将其放到宏任务的 所以只有满足 (1)3秒后 (2)主线程空闲，同时满足时，才会3秒后执行该函数 如果主线程执行内容很多，执行时间超过3秒，比如执行了10秒，那么这个函数只能10秒后执行了。 觉得本文对你有帮助？
1.9K91发布于 2018-03-05 - 来自专栏Android 研究
Android Handler机制10之Native的实现
一、简述 前面的文章讲解了Java层的消息处理机制，其中MessageQueue类里面涉及到的多个Native方法，除了MessageQueue的native方法，native本身也有一套完整的消息机制 在整个消息机制中，MessageQueue是连接Java层和Native层的纽带，换而言之，Java层可以向MessageQueue消息队列中添加消息，Native层也可以向MessageQueue消息队列中添加消息 3、Native层的Looper创建和Java层的也完全不一样，它利用了Linux的epoll机制检测了Input的fd和唤醒fd。 Looper.h/Looper.cpp文件中定义了Message结构体，消息处理类，回调类，Looper类 (一)、Message结构体 代码在(http://androidxref.com/6.0.1_r10 类图.png 6 Native Looper的监听文件描述符 Native Looper除了提供message机制外，还提供监听文件描述符的方式。
2.4K30发布于 2018-08-30 - 来自专栏全栈程序员必看
决策树的原理_决策树特征选择
决策树的原理：根据树结构进行决策，可以用于分类和回归。一颗决策树包括一个根结点、若干个内部节点和若干个叶节点。 从根节点出发，对每个特征划分数据集并计算信息增益（或者增益率，基尼系数），选择信息增益最大的特征作为划分特征，依次递归，直至特征划分时信息增益很小或无特征可划分，形成决策树。 决策树 优点 1. 样本发生一点点变化会导致树的结构剧烈变动 决策树的算法：ID3算法、C4.5算法、CART算法 算法 优缺点 ID3算法 不足： 无法处理连续特征；信息增益使得算法偏向于取值较多的特征；没有考虑缺失值和过拟合的问题
64110编辑于 2022-10-03 - 来自专栏数据分析与机器学习
决策树
因此，我们可用信息增益来进行决策树的划分属性选择，即在上述“决策树学习的基本算法”章节中第6行选择属性a_* = argmax_{a\in A}Gain(D,a).著名的ID3决策树学习算法就是以信息增益为准则来选择划分属性 而后剪枝策略针对欠拟合问题明显要优于预剪枝策略，泛化性能往往也要优于预剪枝策略；但是后剪枝策略的问题在于，其是在决策树生成之后进行的，并且要自底向上地对树中所有非叶节点进行逐一考察，因此其训练时间要远远大于未剪枝决策树和预剪枝决策树 决策树的剪枝往往是通过极小化决策树整体的损失函数（loss function）或代价函数（cost function）来实现。 决策树的生成只考虑通过信息增益（或信息增益比）对训练集的拟合程度。而决策树剪枝则通过优化损失函数还考虑了减小模型复杂度，进而提高其泛化性能。 换言之，决策树生成算法只学习局部的模型，而决策树剪枝算法则关注整体的泛化性能。
1.1K41发布于 2019-11-28 - 来自专栏大龄程序员的人工智能之路
决策树
决策树(decision tree)是一类常见的机器学习方法。顾名思义，决策树是基于树结构来进行决策的，这恰是人类在面临决策问题时一种很自然的处理机制。 一颗决策树包含一个根节点、若干个内部节点和若干个叶节点。叶节点对应于决策结果，其他每个节点则对应于一个属性测试。 ? 决策树学习的目的是从样本数据产生一颗泛化能力强的决策树，其基本流程遵循简单且直观的“分而治之”策略： Function createBranch 检测数据集中的每个子项是否属于同一分类： If
69620发布于 2019-07-01 - 来自专栏计算机视觉理论及其实现
决策树
决策树(decision tree)是一类常见的机器学习方法。以二分类任务为例，我们希望从给定训练数据集学得一个模型用以对新示例进行分类，这个把样本分类的任务，可看作对“当前样本属于正类吗？” 顾名思义，决策树是基于树结构来进行决策的，这恰是人类在面临决策问题时的一种很自然的处理机制。例如，我们要对“这是好瓜吗？” 一般的，一个决策树包含一个根节点、若干个内部节点和若干个叶节点；叶节点对应于决策结果，其他每个节点则对应于一个属性测试；每个节点包含的样本集合根据属性测试的结果被划分到子节点中；根节点包含样本全集。 决策树学习的目的是为了产生一颗泛化能力强，即处理未见示例能力强的决策树，其基本流程遵循简单直观的“分而治之”策略，算法如下所示， 输入：训练集 属性集 过程：函数 生成节点node. if 显然，决策树的生成是一个递归过程，在决策树基本算法中，有三种情形会导致递归返回：当节点包含的样本全属于同一类别，无需划分当前属性集为空，或是所有样本在所有属性上取值相同，无法划分当前划分节点包含的样本集合为空
1.3K20编辑于 2022-09-03 - 来自专栏Coder的技术之路
决策树
一颗决策树应运而生： ? 决策树是一个分类模型，是运用已有资料训练模型，然后运用到未知类别的事物身上，从而确定该事物的类别。 就像上面故事中未曾谋面的男主人公，虽然见或不见，他就在那里，不悲不喜，但他到底属于的哪一类，就需要用上图所示的决策树来决定。 决策树的精神是要将目标属性的混乱程度降到最低。。。 如按照属性A把S集（含30个用例）分成了10个用例和20个用例两个集合则SplitInfo(S,A)=-1/3*log(1/3)-2/3*log(2/3) ID4.5的有点，可以处理连续的属性值，只需输入一个参数
48130发布于 2021-05-14 - 来自专栏iOSDevLog
决策树
决策树(Decision Tree) 机器学习里面的算法与编程语言里面的算法不大一样，主要是指数学上面的算法，而不是数据结构相关的算法。 不过机器学习里的与种算法叫做决策树，本质上就是编程语言中数据结构里面的树结构。 决策树是一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。 分类树（决策树）是一种十分常用的分类方法。
60440发布于 2018-07-03 - 来自专栏mantou大数据
决策树
简介 决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法 由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。 决策树学习通常包括 3 个步骤： 特征选择 决策树的生成 决策树的修剪 1.1 决策树场景 场景一：二十个问题 有一个叫 “二十个问题” 的游戏，游戏规则很简单：参与游戏的一方在脑海中想某个事物，其他参与者向他提问 1.2 定义 分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点（node）和有向边（directed edge）组成。 构造决策树是很耗时的任务，即使很小的数据集也要花费几秒。如果用创建好的决策树解决分类问题就可以很快完成。
2.6K190发布于 2018-04-21 - 来自专栏DeepHub IMBA
最简的决策树入门教程，10分钟带你入门
在这篇文章中，我将用简单的术语解释决策树。这可以被认为是一个关于决策树的傻瓜教程，虽然我个人不太喜欢这种表达。 引言与直观感受 在机器学习领域，决策树是一种非参数的模型，可以用于分类和回归。 在每个节点上，决策树对数据的一个特征进行评估，在训练阶段用于决策树的生长，而在推理阶段则让一段特定的数据沿着特定的流向在决策树上流动。 ? 也许最好的解释方法是看一个决策树是什么样子，建立一个对决策树的直觉。下图显示了一棵决策树的总体结构。 ? 在这个图中，我们可以观察到三种节点： 根节点：数据流图的启动节点。 决策树的划分依据一些特定的指标，比如分类决策树使用基尼指数或信息熵，而回归决策树使用残差或均方误差。 我们使用的特征是离散的还是连续也会带来不同的划分过程。 注：*下图只显示了决策树用过的特征* ? 好！现在我们知道如何使用决策树进行预测，让我们学习一下这一算法的优缺点。 决策树的优缺点 优点 决策树的主要优点是可解释性强。
1.3K30发布于 2020-05-09 - 来自专栏人工智能
C4.5决策树及CART决策树
学习目标 了解信息增益率的计算公式 知道ID3 和 C4.5决策树的优缺点 了解基尼指数的计算公式 了解基尼指数对于不同特征的计算方式 了解回归决策树的构建原理 1. Cart树简介 Cart模型是一种决策树模型，它即可以用于分类，也可以用于回归，其学习算法分为下面两步： （1）决策树生成：用训练数据生成决策树，生成树尽可能大 （2）决策树剪枝：基于损失函数最小化的剪枝 Scikit-learn中有两类决策树，他们均采用优化的Cart决策树算法。一个是DecisionTreeClassifier一个是DecisionTreeRegressor回归。 5. CART剪枝算法从“完全生长”的决策树的底端剪去一些子树，使决策树变小，从而能够对未知数据有更准确的预测，也就是说CART使用的是后剪枝法。 分类树使用叶子节点里出现更多次数的类别作为预测类别，回归树则采用叶子节点里均值作为预测输出 CART 回归树构建: 例子： 假设：数据集只有 1 个特征 x, 目标值值为 y，如下图所示： x 1 2 3 4 5 6 7 8 9 10
61410编辑于 2024-07-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号