- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型应用
大模型应用：算力分层治理：基于大模型算力四层匹配体系的优化方案.72
今天我们一如既往对算力刨根问底，拆解算力三层核心构成与四层匹配体系，用通俗易懂的示例，和大家一起跳出加卡误区，掌握大模型算力分层治理的核心逻辑，让每一份硬件投入都转化为实实在在的落地效率。 算力的四层匹配体系三层算力是核心骨架，而四层匹配是落地执行方案，是让三层算力发挥最大价值的全链路保障，也是解决加卡无效的核心路径。 第三步：逐层匹配（四层匹配落地）按照 “计算层 → 存储层 → 通信层 → 业务层” 的顺序，逐一进行匹配优化：计算层：确定最优数据精度、模型并行拆分方案，避免计算算力浪费；存储层：优化显存、内存、硬盘的容量与带宽 第四步：监控优化（闭环迭代）部署算力监控工具（如 Prometheus + Grafana），实时监控三层算力的利用率、四层匹配的效率；针对出现的瓶颈（如通信开销过大、显存利用率过低）进行迭代优化，形成 四、总结 结合大模型产业化落地的实操经验，算力焦虑的核心从不是硬件不够，而是认知和方法跑偏，加卡不是唯一的解决问题的途径，往往是忽视了算力的协同本质，与其盲目加卡，不如先梳理清楚计算、访存
21643编辑于 2026-04-10 - 来自专栏Triciaの小世界
力扣——四数之和
请你找出并返回满足下述全部条件且不重复的四元组 [nums[a], nums[b], nums[c], nums[d]] （若两个四元组元素一一对应，则认为两个四元组重复）： 0 <= a, b, c, 示例 示例1： 输入： nums = [1,0,-1,0,-2,2], target = 0 输出： [[-2,-1,1,2],[-2,0,0,2],[-1,0,0,1]] 示例 2： 输入： nums = [2,2,2,2,2], target = 8 输出： [[2,2,2,2]] 分析 和三数之和差不多思路 三数之和的双指针解法是一层for循环num[i]为确定值，然后循环内有 四数之和的双指针解法是两层for循环nums[j] + nums[i]为确定值，依然是循环内有left和right下表作为双指针，找出nums[j] + nums[i] + nums[left] + nums fourSum = function (nums, target) { if (nums.length < 4) return [] let n1, n2,
25720编辑于 2023-04-12 - 来自专栏算法channel
入门解读 seq2seq 和注意力模型
与deep learning 结合出现的两个非常重要模型： seq2seq 和 seq2seq with attention. 值得注意的，google已经从SMT切换到NMT，也就是基于seq2seq的机器翻译模型。 2 神经网络翻译模型(NMT) 2014年出现的基于神经网络的机器翻译模型(Neural Machine Translation，简称为 NMT)，它是 seq2seq 模型，它由两个RNN网络构成。 以上seq2seq对源句子的编码，融合并等同地看待了所有的单词，会出现 RNN的信息瓶颈。后来展开了很多研究，其中最明显的提升是带有注意力的seq2seq模型的出现。 毫无疑问，注意力模型更加优秀，极大地提升了NMT的性能，同时解决了语言瓶颈，梯度消失问题，并且可以得到自动学得单词间的对齐关系。
1.3K40发布于 2018-06-04 - 来自专栏睡前机器学习
模型，奥力给！
偏差达到最小化，模型就训练好了。 那回到最开始的问题，怎样使用训练好的模型呢？ 也很简单，上面看出来了，模型无非就是一个喂点什么进去，然后就会吐点什么出来的玩意。 datasets.load_boston(return_X_y=True) X_train, X_test, y_train, y_test = train_test_split(X, y) 现在我们有了四套数据 记住，Y在机器学习里，都是代表有监督学习的参考答案，是要和模型的预测值比较的。 选一套模型吧。波士顿房价数据集是明码实价的回归问题，就选择用最最最基础的线性回归模型烹调好了。 首先是声明。 现在，可以使用这个模型了。 考试方法如下： model.score(X_test, y_test) 这里测的是R2，满分1分，最低0分。这次模型的得分是0.7668，算不上优秀，但好歹滚过及格线了，呵，大学生~ 下次再聊。
32720编辑于 2022-04-11 - 来自专栏AIUAI
Caffe2 - (四) 基于 squeezenet 分类的模型测试
Caffe2 模型加载与测试 Model Zoo 这里以 squeezenet 模型为例，对图片中的 object 分类. 下载训练好的模型： python -m caffe2.python.models.download -i squeezenet 模型加载： 读取 protobuf 文件： with open("init_net.pb = "~/caffe2" CAFFE_MODELS = "~/caffe2/caffe2/python/models" # 均值文件保存到与 model 同一路径 from caffe2.proto import caffe2_pb2 import numpy as np import skimage.io import skimage.transform from matplotlib import (cropx//2) starty = y//2-(cropy//2) return img[starty:starty+cropy,startx:startx+cropx]
1.1K20发布于 2019-02-18 - 来自专栏DeepHub IMBA
经典Seq2Seq与注意力Seq2Seq模型结构详解
本文内容: 什么是Seq2Seq模型? 经典的Seq2Seq模型是如何工作的? 注意力机制 什么是Seq2Seq模型? 经典的Seq2Seq模型是如何工作的? 这两篇论文介绍并改进了“注意力”的概念。这种技术通过关注输入序列的相关部分，使机器翻译系统得到了相当大的改进。 思路 带有注意力的Seq2Seq模型中的编码器的工作原理与经典的类似。 现在我们已经知道了如何计算分数，让我们尝试着理解Seq2Seq模型中的注意力解码器是如何工作的。 第一步，注意解码器RNN嵌入<END>令牌（表示语句结束），并将其进入初始解码器隐藏状态。 我希望本文能使您对经典的Seq2Seq模型以及带有注意力的Seq2Seq有一个很好的初步了解。
1.2K20发布于 2021-03-10 - 来自专栏机器之心
蚂蚁集团开 “卷” 金融大模型，“四力和一” 解决产业真命题
一、金融大模型：屹立在万亿 Token 上的「知识力」 通用大模型缺少金融领域的专业力、知识力、语言力以及安全力，金融大模型实现落地行业是一个复杂化的系统工程，需要将「四力」形成合力。 蚂蚁金融大模型具有「四力」，知识力、语言力、专业力和安全力 所谓知识力，主要是指金融大模型的底座能力，模型规模只有足够大（通常百亿以上），才会有「涌现」现象的出现。预训练大模型则需要海量数据。 四、「四力合一」的上与下：底层支持与产业应用 强大底层算力设施为蚂蚁金融大模型提供了一个好的基础和起点。 目前，蚂蚁金融大模型的「RLHF 训练在同等模型效果下，训练吞吐性能相较于业界方案提升 3.59 倍，推理性能相较于业界方案提升～2 倍，处于业界先进水平。」 蚂蚁探索出了一条路： 以行业大模型为认知和交互的中枢，调用领域知识和专业服务，这是一个「大模型 + 知识 + 服务」驱动的架构，为消费者和产业应用，提供「四力」的支撑。
1.1K50编辑于 2023-09-19 - 来自专栏瓜大三哥
UVM模型（四）
UVM模型（四） 1.常用到的uvm_component uvm_driver:所有的driver都要派生自uvm_driver。 2.常用到的uvm_object uvm_sequence_item：所有的transaction都要从uvm_sequence_item派生。
1.5K90发布于 2018-02-26 - 来自专栏石云升
波特五力模型
波特五力模型是分析企业竞争环境的一个分析模型。 根据波特的观点，每家企业都受到“直接竞争对手、顾客、供应商、潜在新进公司和替代性产品”这五个“竞争作用力”的影响。 我们用波特五力模型试着分析下实体书店竞争是否激励。 直接竞争对手：如果直接对标卖书，那么其他书店是你的直接竞争对手，如果你定位是给一个线下的安静空间，享受书店的文化氛围。 你看，在思考这个模型的时候，可以帮助我们制定相应的竞争战略，同时也帮助我们想清楚了很多细节问题。这就是工具的价值。
61510编辑于 2022-08-25 - 来自专栏AutoML(自动机器学习)
DeepLearning.ai学习笔记（五）序列模型 -- week2 序列模型和注意力机制
2. emm 七、注意力模型直观理解 1.为什么要用注意力模型 之前介绍的RNN翻译模型存在一个很明显的问题就是机器翻译的翻译过程是首先将所有需要翻译的句子输入到Encoder中，之后再通过Decoder输出翻译语句 2.模型介绍 下图展示了普通的翻译模型双向RNN结构，该结构可根据输入 直接得到输出 。 注意力模型在此基础上做进一步处理。 为避免误解，使用另一个符号 来表示节点。 整个注意力模型结构如下图示。 八、注意力模型 特别要区分 (字母a) 和 (alpha)。前者表示特征节点，后者表示注意力权重。 还是以第一个节点为例，c的计算公式如下： c^{<1>}=\sum_{t'}α^{<1,t'>}a^{<t'>} 2.注意力权值计算公式 上面公式中的 计算图如下： 其中 表示上一个状态的值
55131编辑于 2022-05-11 - 来自专栏ShowMeAI研究中心
深度学习教程 | Seq2Seq序列模型和注意力机制
1.Seq2Seq 模型 1.1 Seq2Seq结构 [基础模型 Basic Models] Seq2Seq(Sequence-to-Sequence)模型能够应用于机器翻译、语音识别等各种序列到序列的转换问题 [Seq2Seq模型] 如图，为Seq2Seq模型典型的机器翻译应用，这个Seq2Seq网络中，包含编码网络(encoder network)和解码网络(decoder network)两个RNN模型子结构 ，预测的第四个词为「in」的概率小于「last」。 [注意力模型] 这种「局部聚焦」的思想，对应到深度学习中非常重要的注意力机制(attention mechanism)。对应的模型叫做注意力模型(attention model)。 [注意力模型] 5.2 注意力模型(Attention Model) [注意力模型 Attention Model] 下图为注意力模型的一个示例。
1.1K51编辑于 2022-04-15 - 来自专栏磐创AI技术团队的专栏
NLP->ATTENTION | 具有注意力机制的seq2seq模型
磐创AI分享 来源 | Renu Khandelwal 编译 | VK 来源 | Towards Data Science 在本文中，你将了解： 为什么我们需要seq2seq模型的注意力机制？ Bahdanua和Luong注意力机制的关键区别 什么是注意力，为什么我们需要seq2seq模型的注意力机制 让我们考虑两个场景，场景一，你正在阅读与当前新闻相关的文章。 序列到序列(Seq2Seq)模型使用编码器-解码器架构。 seq2seq的几个场景 神经机器翻译(NMT) 图像字幕 聊天机器人 文本摘要等 Seq2Seq模型将源序列映射到目标序列。 带有注意力机制的Seq2Seq模型由编码器、解码器和注意力层组成。 由于全局注意模型考虑了源序列中的所有单词来预测目标单词，因此在计算上变得非常昂贵，并且很难翻译出较长的句子 利用局部注意力可以解决全局注意模型的缺点 局部注意力 局部注意力只关注每个目标词的源位置的一小部分
1.1K10发布于 2020-05-29 - 来自专栏null的专栏
注意力FM模型AFM
AFM（Attentional Factorization Machines）[2]模型在FM模型的基础上，引入了Attention机制，通过Attention的网络对FM模型中的交叉特征赋予不同的权重 2. 算法原理2.1. 如果将FM模型放入到神经网络的框架下，FM模型的结构可以由下图表示：图片对于每一个特征都赋予一个$k$维的向量，如上图中的第二个特征x_2 的k 维向量为\mathbf{v}_2 ，同理，第四个特征x_ AFM的网络结构在注意力FM模型AFM（Attentional Factorization Machines）中，是在FM的基础上引入了Attention机制，通过Attention网络学习到每个交叉特征的权重 总结AFM模型在FM模型的基础上，引入了Attention机制，通过Attention的网络对FM模型中的交叉特征赋予不同的权重。参考文献[1] Rendle S.
88330编辑于 2023-01-16 - 来自专栏人工智能与演化计算成长与进阶
序列模型3.7-3.8注意力模型
而对于长句子，注意力模型 会和人类翻译一样，每次翻译句子中的一部分，从而提高句子翻译长句子的能力。 ? 注意力模型 Attention model intuition “Bahdanau D, Cho K, Bengio Y. 与普通的 RNN 不同的是，注意力模型不会看每一个输入的单词，而是对输入的每个单词选择一定的 注意力权重 用于 表示这个单词对于正在翻译的单词具有多大的影响 下图中的 分别表示前三个单词对第一个词语的翻译具有的影响力 ---- 3.8 注意力模型细节 Attention model 特征提取模型 使用的双向循环神经网络，这样其对于 前向传播 和 后向传播 分别有激活值 $\overrightarrow{a^{ 对于一个时间步 Computer Science, 2014. [2] Xu K, Ba J, Kiros R, et al.
66610发布于 2020-08-14 - 来自专栏null的专栏
注意力FM模型AFM
AFM（Attentional Factorization Machines）[2]模型在FM模型的基础上，引入了Attention机制，通过Attention的网络对FM模型中的交叉特征赋予不同的权重 2. 算法原理 2.1. 如果将FM模型放入到神经网络的框架下，FM模型的结构可以由下图表示： 对于每一个特征都赋予一个 k 维的向量，如上图中的第二个特征 x_2 的 k 维向量为 \mathbf{v}_2 ，同理，第四个特征 AFM的网络结构 在注意力FM模型AFM（Attentional Factorization Machines）中，是在FM的基础上引入了Attention机制，通过Attention网络学习到每个交叉特征的权重 总结 AFM模型在FM模型的基础上，引入了Attention机制，通过Attention的网络对FM模型中的交叉特征赋予不同的权重。 参考文献 [1] Rendle S.
68140编辑于 2023-02-02 - 来自专栏周拱壹卒
【译】可视化神经机器翻译模型（Seq2seq 模型的注意力机制）
Google Translate 在 2016 年底开始在生产环境中 使用[2] 这种模型。 让我们集中注意力 对于这类模型来说，上下文 context 向量成为了一个瓶颈。它使得模型难以处理较长的句子。 这些论文引入并改进了一种被称为“注意力”的技术，极大地提高了机器翻译系统的质量。注意力允许模型根据需要专注于输入序列的相关部分。 这种在输入序列相关部分放大信号的能力使得注意力模型产生的结果优于没有注意力的模型。 让我们继续在这个高层抽象层面上查看注意力模型。 注意力模型与经典的序列到序列模型有两个主要区别： 首先，编码器 encoder 将更多的数据传递给解码器 decoder。
45710编辑于 2024-04-09 四力PLUS商家增长平台产品介绍
三、应用框架和功能介绍 功能框架 四力经营看板： 商品诊断力：新增商品分类（明星/话题/高潜/低潜商品，基于吸引力<浏览PV/UV、加车人数>和业务贡献）与爆款识别（追踪头部爆款转化详情，如曝光量- 深度洞察看板-人群画像：结合方略标签产品化，支持省份/性别/年龄/学历/城市分布等画像洞察，开通需联系四力助理@罗芸冰（数据接入达标后开通）。 数据建模共创：人货匹配推荐、市场空间测算、异业合作匹配度等共创模型。 会员产品与服务：3大合作服务（战略规划、运营服务、数字化升级），3大权益（流量支持、数据能力、市场声望），含四力360°经营看板、知识库、战略咨询。 解决方案：腾讯智慧零售研发团队通过小程序黑盒诊断，识别18项问题（性能问题15项：首页缺启动缓存、图片未微加载、重复接口调用等；安全问题1项：潜在被黑产当网盘风险；其他问题2项），提供优化建议（品牌自行实施
9610编辑于 2026-03-31- 来自专栏新智元
【谷歌大脑力作】RNN最新技术：注意力增强 RNN，四大模型
【新智元导读】谷歌大脑团队的Chris Olah & Shan Carter 整理了 2016 年递归神经网络（RNN）的发展，总结了神经图灵机、注意力界面、自适应计算时间和神经编程器这四个使用注意力对常规 他们认为，这四大模型会对接下来 RNN 发展产生重大影响。新智元提供本文中文翻译，可访问原始页面查看更多。图片均来自原文。 在 RNN 之间使用注意力的一大应用是翻译（Bahdanau, et al., 2014）。传统的序列到序列模型必须将整个输入全部转换为单一的一个向量后，再反向扩展。 还有 Vinyals 和 Le 2015 年写的论文，让模型在生成回应时，关注之前的一部分对话，通过这种方式建立对话模型。 ? 注意力还能用于卷积神经网络和 RNN 之间的界面。 因此，一个命令可能是“将操作 2 的上一步输出和操作 1 的上一步输出相加”。 ? 每一步操作都会生成一个程序，这都由一个控制器 RNN （controller RNN）负责。
1.3K50发布于 2018-03-23 - 来自专栏算法与编程之美
Python|力扣周赛2
每个数除以除数后都向上取整，比方说7/3=3，10/2=5。 题目保证一定有解 解决方案 样式要求： 示例 1： 输入：nums = [1,2,5,9], threshold = 6 输出：5 解释：如果除数为 1 ，我们可以得到和为 17 （1+2+5+9）。 如果除数为 4 ，我们可以得到和为 7 (1+1+2+3) 。如果除数为 5 ，和为 5 (1+1+1+2)。 示例 2： 输入：nums = [2,3,5,7,11], threshold = 11 输出：3 示例 3： 输入：nums = [19], threshold = 5 输出：4 提示： 1 <= nums.length /j)+1 if x<=threshold: return j END 实习编辑 | 王楠岚 责 编 | 王自强 where2go
49040发布于 2020-02-14 - 来自专栏DevOps
认证授权：OAuth2简介及四种授权模型详解
简介 如今很多互联网应用中，OAuth2 是一个非常重要的认证协议，很多场景下都会用到它，Spring Security 对 OAuth2 协议提供了相应的支持。 6.资源服务器将资源返回给第三方网站 2.四种角色： 从上图中我们可以看出六个步骤之中，B是关键，即用户怎么才能给于客户端授权。 同时会发现 OAuth2 中包含四种不同角色： Client ：第三方应用。 Resource Owner：资源所有者。 Authorizetion Server ：授权服务器。 3.四种授权模式 OAuth2 协议一种支持四种不同的授权模式： 授权码模式：常见的第三方平台登录功能基本都是使用这种模式。 访问资源 客户端在请求头中添加token，访问资源服务器 资源服务器收到请求，先调用校验token的方法（可以是远程调用授权服务器校验端点，也可以直接访问授权存储器手动校对） 资源服务器校验成功，返回资源 四、
7.5K13编辑于 2024-03-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号