- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型成长之路
【大模型学习 | DeepSeek-V3原理】
DeepSeek-V3 Technical Report DeepSeek-V3 的基本框架还是 Transformer。 另外，V3 模型是通过将预测多token作为训练目标。本文主要是对DeepSeek-V3的模型框架以及训练目标进行讨论。 什么是负载平衡？ 2️⃣ DeepSeekMoE 在Transformer架构中的FFN层，V3模型采用了MoE进行替换，使用更细粒度的专家，并将一些专家隔离为共享专家。 ✅ Yes ✅ 无偏置 目前的模型权重已开源： https://huggingface.co/deepseek-ai/DeepSeek-V3-Base 者由于设备限制无法对 V3模型进行体验。
1.4K21编辑于 2025-07-25 - 来自专栏啄木鸟软件测试
多模态大模型技术原理与实战(3)
模态 优点 缺点 单模态 原理简单，不需要考虑多模态数据彼此关联，算法简单易懂。更有效地提取数据特征。 在各种下游任务中表现出来的能力不佳，准确性不高。 o解决图像多模态问题有3种传统的思路，分别是使用单编码器模型、双编码器模型、编码器-解码器模型。 ·单编码器模型指的是整个架构中只存在一个图像编码器的模型。 大模型+多模态的3种实现方法 1，以LLM 为核心，调用其他多模态组件 2023年5月，微软亚洲研究院(MSRA)联合浙江大学发布了HuggingGPT。 具备很强的泛化能力和小样本、零样本推理能力， 3、以LLM 为底座模型，训练跨模态编码器 这种方法的特色是以预训练好的LLM 为底座模型,冻结LLM的大部分参与训练跨模态编码器。 3.视觉问答任务 视觉问答任务指的是根据图像或视频中描述的内容进行回答、体现了多楼态大模型的自然语言理解和推理能力。 这个城市拥有哪些著名大学？ 上海是中国著名的现代化城市，拥有多所知名大学。
1.2K20编辑于 2024-09-10 - 来自专栏计算机工具
ResNet 模型原理
3、提高模型的泛化能力 在一些深度神经网络的训练中，由于训练集与测试集的差异，造成了过拟合的现象。 通过加入Skip Connection，可以让更多的信息有机会被保留下来，从而增强模型的泛化能力，降低过拟合的风险。 残差网络建立在BN之上，用多项式拟合差值。 作者通过实验：通过浅层网络+ y=x 等同映射构造深层模型，结果深层模型并没有比浅层网络有等同或更低的错误率，推断退化问题可能是因为深层的网络并不是那么好训练，也就是求解器很难去利用多层网络拟合同等函数 如果深层网络的后面那些层是恒等映射，那么模型就退化为一个浅层网络。那现在要解决的就是学习恒等映射函数了。 ResNet 模型原理 VGG 网络在特征表示上有极大的优势，但深度网络训练起来非常困难。
55210编辑于 2024-12-14 - 来自专栏开源心路
chatGPT模型原理
GPT-3 大模型中的大模型 首先， GPT-3 的模型所采用的数据量之大，高达上万亿，模型参数量也十分巨大，学习之复杂，计算之繁复不说了。 GPT-3 里的大模型计算量是 Bert-base 的上千倍。统统这些都是在燃烧的金钱，真就是 all you need is money。 如此巨大的模型造就了 GPT-3 在许多十分困难的 NLP 任务，诸如撰写人类难以判别的文章，甚至编写SQL查询语句，React或者JavaScript代码上优异的表现。 在 GPT-3 的预训练阶段，也是按照这样多个任务同时学习的。比如“做数学加法，改错，翻译”同时进行。这其实就类似前段时间比较火的 prompt。 （我们这里没有小模型，只有大模型、超大模型、巨大模型） chatGPT chatGPT 模型上基本上和之前都没有太大变化，主要变化的是训练策略变了。
42010编辑于 2023-06-30 - 来自专栏ops技术分享
redis原理（3）
传统的取模方式 例如10条数据 0 1 2 3 4 5 6 7 8 9 3个节点node a b c 如果按照取模的方式，那就是 node a: 0,3,6,9 node b: 1,4,7 node c : 2,5,8 当增加一个节点的时候，数据分布就变更为 node a:0,4,8 node b:1,5,9 node c: 2,6 node d: 3,7 总结：数据3,4,5,6,7,8,9在增加节点的时候 十条数据，算出各自的哈希值，（这里就不变了，实际上要经过一系列计算） 0 : 0 1 : 1 2 : 2 3 : 3 4 : 4 5 : 5 6 : 6 7 : 7 8 : 8 9 : 9 有三个节点， 算出各自的哈希值 node a: 3 node b: 5 node c: 7 这个时候比较两者的哈希值，5等于b，则归属b，4小于b，归属b，3等于a，则归属a，最后所有大于c的，归属于c(这里只是模拟 d: 9 这个时候对应的数据就会做迁移： node a: 0,1,2,3 node b: 4,5 node c: 6,7 node d: 8,9 只有最后8,9这2条数据被存储到新的节点，其他不变 三
39300发布于 2021-05-18 - 来自专栏NLP/KG
大语言模型的预训练:基本概念原理、神经网络的语言模型、Transformer模型原理详解、Bert模型原理介绍
大语言模型的预训练1:基本概念原理、神经网络的语言模型、Transformer模型原理详解、Bert模型原理介绍 S 1.大语言模型的预训练 1.LLM预训练的基本概念 预训练属于迁移学习的范畴。 1.3 LLM预训练的基本原理 大语言模型预训练采用了 Transformer 模型的解码器部分，由于没有编码器部分，大语言模型去掉了中间的与编码器交互的多头注意力层。 借助标记者的人工标注，训练出合意的奖励模型，为监督策略建立评价标准； 步骤 3：PPO 强化学习模型训练，采用近端策略优化进行强化学习。 由于隐藏层中隐状态的循环计算上图中的第 3 个时间步的输出 O3 由文本序列 “m”，“a” 和“c”确定。 并行计算：Transformer 模型中的自注意力机制和位置编码可以使输入序列的所有位置同时进行处理，这导致模型可以高效地并行计算，加快训练和推理速度。 3.
8.7K14编辑于 2023-07-17 - 来自专栏捞月亮的小北
3. Servlet原理
Servlet 的原理如下： 服务器启动时，Servlet 容器读取部署描述符文件(web.xml)，并解析部署的 Servlet 和 URL 映射规则。
15210编辑于 2023-12-01 LLM架构管窥：3模式、3原理
研究3天，6篇笔记 【点我头像 查看文章列表】因为咱是懂架构的，所以借助架构模式理解LLM架构并不困难。倒是向量语义叠加、多头注意力原理，颇是费脑细胞。
23620编辑于 2025-12-31- 来自专栏机器学习入门
【AI大模型】ChatGPT模型原理介绍（下）
学习目标 了解ChatGPT的本质 了解GPT系列模型的原理和区别 GPT-3介绍 2020年5月, OpenAI发布了GPT-3, 同时发表了论文“Language Models are 目前基于ChatGPT的论文并没有公布, 因此接下来我们基于openai官网的介绍对其原理进行解析 2.1 ChatGPT原理 在介绍ChatGPT原理之前, 请大家先思考一个问题: “模型越大、参数越多 接下来, 将对每一步的细节进行详述. 2.4 监督调优模型 工作原理: 第一步是收集数据, 以训练有监督的策略模型. 工作原理: 选择 prompt 列表, SFT 模型为每个 prompt 生成多个输出（4 到 9 之间的任意值） 标注者将输出从最佳到最差排序. 工作原理: (明确任务: 模型是通过RL来更新) 第一步: 获取数据 第二步: 将数据输入PPO模型 (这里直接也可以理解为ChatGPT模型), 得到一个输出结果 第三步: 将第二步得到的结果输入到
64410编辑于 2024-09-18 DeepSeek模型：原理、回答机制与模型因子
本文将深入探讨DeepSeek的工作原理、回答生成机制以及其关键模型因子，并通过表格和流程图的形式进行对比分析。 一、DeepSeek的工作原理DeepSeek是一种基于Transformer架构的大语言模型，其核心设计借鉴了GPT系列模型的成功经验，同时在训练数据、模型架构和优化策略上进行了创新。 以下是DeepSeek的主要工作原理：预训练阶段undefinedDeepSeek通过大规模无监督学习，在海量文本数据上进行预训练。它采用自回归语言建模的方式，预测给定上下文中的下一个词。 五、DeepSeek原理的流程图表以下是一个简化版的DeepSeek工作流程图，展示了从输入到输出的核心步骤：+-------------------+ +----------------- 通过对原理、回答机制和模型因子的深入分析，我们可以看到DeepSeek在多个方面的独特优势。未来，随着技术的不断进步，DeepSeek有望在更多应用场景中发挥更大的价值。
2.5K10编辑于 2025-03-20- 来自专栏机器学习入门
【AI大模型】ChatGPT模型原理介绍（上）
学习目标 了解ChatGPT的本质 了解GPT系列模型的原理和区别 什么是ChatGPT？ 那么ChatGPT背后的实现原理是什么呢？接下来我们将给大家进行详细的解析. 在我们了解ChatGPT模型原理之前, 需要回顾下ChatGPT的成长史, 即我们需要对GPT-1、GPT-2、GPT-3等一系列模型进行了解和学习, 以便我们更好的理解ChatGPT的算法原理. 的Decoder Block和经典Transformer Decoder Block还有所不同, 如下图所示: 如上图所示, 经典的Transformer Decoder Block包含3个子层 GPT-2表明随着模型容量和数据量的增大, 其潜能还有进一步开发的空间, 基于这个思想, 诞生了我们下面要介绍的GPT-3. 小结 本章节主要讲述了GPT-1与GPT-2的发展历程
1.5K10编辑于 2024-09-18 Transformer 模型的工作原理
Transformer 模型的工作原理 在人工智能里，Transformer 模型宛如一颗耀眼的巨星，自诞生起便光芒四射，引领着整个领域不断向前发展。 让我们一同深入探索Transformer模型的奇妙世界，感受其独特魅力。 一、Transformer 模型 Transformer 模型是一种深度学习架构，最初为自然语言处理（NLP）而设计，如今已广泛应用于其他领域，如计算机视觉。 自注意力机制在神经网络中的架构图 总结来说，自注意力机制让模型关注序列中的所有元素，不遗漏重要信息，且能捕捉不同位置间的依赖关系，为 Transformer 模型的优异表现奠定基础。 例如，传统模型需一千万参数达 85%性能，经优化的模型仅需三百万参数就能达 87%性能，用更少资源实现更好效果，降低了计算成本，使先进 AI 模型能在更多设备上部署应用。
1K10编辑于 2025-06-13- 来自专栏机器学习算法原理与实践
最大熵模型原理小结
而对熵的使用，让我们想起了决策树算法中的ID3和C4.5算法。理解了最大熵模型，对逻辑回归，支持向量机以及决策树算法都会加深理解。本文就对最大熵模型的原理做一个小结。 1. 熵和条件熵的回顾 在决策树算法原理(上)一文中，我们已经讲到了熵和条件熵的概念，这里我们对它们做一个简单的回顾。 熵度量了事物的不确定性，越不确定的事物，它的熵就越大。 最大熵模型的定义 最大熵模型假设分类模型是一个条件概率分布$P(Y|X)$,X为特征，Y为输出。 3 . 最大熵模型损失函数的优化 在上一节我们已经得到了最大熵模型的函数$H(P)$。 惯例，我们总结下最大熵模型作为分类方法的优缺点： 最大熵模型的优点有： a) 最大熵统计模型获得的是所有满足约束条件的模型中信息熵极大的模型,作为经典的分类模型时准确率较高。
83110发布于 2018-08-14 - 来自专栏云数据库技术
大语言模型技术原理
除了自然语言本身的优势外，语境的上下文学习能力、迁移学习和文字总结能力也有很大的发挥空间，带着这些思考，我们有必要了解一下大语言模型背后的发展及其技术原理。 InstructGPT模型的参数为1.3B，而GPT-3模型的参数为175B，约为InstructGPT模型的130倍，但InstructGPT模型的输出却优于GPT-3模型的输出。 Self-Attention 原理 之前说Transformer的自注意机制突破了文本关注距离的限制，因此非常关键。 把回报分数按排序依次传递，产生策略梯度，通过强化学习的方式更新PPO模型参数。 最后步骤2和步骤3可以循环迭代，可以不断完善模型。 PPO 算法已经存在了相对较长的时间，有大量关于其原理的指南，因而成为 RLHF 中的有利选择。 我们将微调任务表述为 RL 问题。
2.3K45编辑于 2023-05-30 - 来自专栏大模型成长之路
【大模型学习 | BLIP原理】
此外，目前广泛采用的数据集仍存在大量文本噪声，进一步限制了模型的性能提升。 一、预训练方法 1.1 图像文本模型 图像特征提取模型：VIT 文本特征提取模型：Unimodal encoder; Image-grounded text encoder; Image-grounded 为了提升模型对跨模态语义的建模能力，Cross-Attention 被加入到 SA 与 FFN 之间，作为一种跨模态交互机制。 这是因为生成任务要求模型按序预测每一个词，不能访问未来的信息。Causal attention 能保证自回归生成的正确性，使模型适合用作 decoder，实现图像到文本的自然语言生成。 最后组成一个新的数据集预训练模型。
1K10编辑于 2025-07-01 - 来自专栏瓜农老梁
Reactor线程模型【原理笔记】
前言 Reactor模型是基于事件驱动的线程模型，可以分为Reactor单线程模型、Reactor多线程模型、主从Reactor多线程模型，通常基于在I/O多路复用实现。 一、Reactor单线程模型 1、原理图示 在Reactor单线程模型中，操作在同一个Reactor线程中完成。根据事件的不同类型，由Dispatcher将事件转发到不同的角色中处理。 二、Reactor多线程模型 1、原理图示 在Reactor多线程模型中。根据事件的不同类型，由Dispatcher将事件转发到不同的角色中处理。 三、主从Reactor多线程模型 1、原理图示 Reactor多线程模型，由Acceptor接受客户端连接请求后，创建SocketChannel注册到Main-Reactor线程池中某个线程的Select
3.3K10发布于 2020-06-19 - 来自专栏腾讯技术工程官方号的专栏
HTTP3 原理实战
不知不觉的 HTTP 已经发展到了第三代，鹅厂也紧跟技术潮流，很多项目也在逐渐使用 HTTP/3。本文基于兴趣部落接入 HTTP/3 的实践，聊一聊 HTTP/3 的原理以及业务接入的方式。 1. HTTP/3 原理 1.1 HTTP 历史 在介绍 HTTP/3 之前，我们先简单看下 HTTP 的历史，了解下 HTTP/3 出现的背景。 而 HTTP/3 首次连接只需要 1 RTT，后面的连接更是只需 0 RTT，意味着客户端发给服务端的第一个包就带有请求数据，这一点 HTTP/2 难以望其项背。那这背后是什么原理呢？ 的每个请求都会被拆分成多个 Frame，不同请求的 Frame 组合成 Stream，Stream 是 TCP 上的逻辑传输单元，这样 HTTP/2 就达到了一条连接同时发送多条请求的目标，这就是多路复用的原理 HTTP/3 未来可期。 ?
2.1K51发布于 2020-05-27 - 来自专栏python3
MPLS BGP ×××——技术原理（3
原理很简单，就是最后一跳路由器，向自己的上游，也就是倒数第二跳路由器发送一个特殊的标签3。倒数第二跳路由器收到该标签3，即认为自己是倒数第二跳。 3.报文的转发问题，即使成功的解决了路由表的冲突，但是当PE接收到一个IP报文时，他又如何能够知道该发给那个×××？因为IP报文头中唯一可用的信息就是目的地址。而很多×××中都可能存在这个地址。
83420发布于 2020-01-13 - 来自专栏性能与架构
Redis3 cluster 原理
Redis3 正式支持了 cluster，是为了解决构建redis集群时的诸多不便 Redis3 之前的集群问题 redis就像一个箱子，里面放着N个 {key,value} 信息 一个箱子肯定会有满的时候 Redis3 cluster 特点 （1）像操作单个redis一样操作key，不用操心key在哪个节点上 （2）在线动态添加、删除redis节点，不用停止服务 （3）根据节点性能，动态分配不同数量的 key到不同redis节点 （4）每个节点都配有slave，并自动监测和切换 Redis3 cluster 核心思路 Redis3 cluster 中增加了一个重要概念： hash slot（哈希槽） hash值计算其所在的slot，再根据slot和redis节点的对应关系，找到此slot所在的节点，然后到这个节点对key进行操作 操作示例 （1）读写key （2）添加redis节点 例如现有3个 redis节点，每个节点各负责一半数量的slot，16384/3 = 5461个 现在想添加一个redis节点，可以从 节点1、节点2、节点3 中各拿出一部分的slot，移到新节点 每个redis节点中的
93260发布于 2018-04-03 - 来自专栏look Java
3 Zookeeper 原理（选举机制）
3 Zookeeper 原理（选举机制） 1 选举机制（面试重点） 半数机制：集群中半数以上机器存活，集群可用。 也把自己的票数投给了自己，再加上 Server1 给的票数，总票数为 2 票，没有超过半数，也 无法成为 leader，也学习 Server1，顺水推舟，将自己所有的票数给了 id 比自己大的 Server3 Server3 得到了 Server1 和 Server2 的两票，再加上自己投给自己的一票。 3 票超过半数，顺利成为 leader Server4 和 Server5 都投给自己，但是无法改变 Server3 的票数，只好听天由命，承认 Server3 是 leader 2 节点类型 一共两种类型 注意：序号是相当于i++，和数据库中的自增长类似 3 监听器原理（面试重点） 在 main 方法中创建 Zookeeper 客户端的同时就会创建两个线程，一个负责网络连接通信，一个负责监听 监听事件就会通过网络通信发送给
53510编辑于 2023-12-07
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号