- 综合排序
- 最热优先
- 最新优先
- 来自专栏计算机工具
ResNet 模型原理
3、提高模型的泛化能力 在一些深度神经网络的训练中，由于训练集与测试集的差异，造成了过拟合的现象。 通过加入Skip Connection，可以让更多的信息有机会被保留下来，从而增强模型的泛化能力，降低过拟合的风险。 残差网络建立在BN之上，用多项式拟合差值。 作者通过实验：通过浅层网络+ y=x 等同映射构造深层模型，结果深层模型并没有比浅层网络有等同或更低的错误率，推断退化问题可能是因为深层的网络并不是那么好训练，也就是求解器很难去利用多层网络拟合同等函数 如果深层网络的后面那些层是恒等映射，那么模型就退化为一个浅层网络。那现在要解决的就是学习恒等映射函数了。 ResNet 模型原理 VGG 网络在特征表示上有极大的优势，但深度网络训练起来非常困难。
55210编辑于 2024-12-14 - 来自专栏开源心路
chatGPT模型原理
简介 openai 的 GPT 大模型的发展历程。 GPT-2 我们一般的 NLP 任务，文本分类模型就只能分类，分词模型就只能分词，机器翻译也就只能完成翻译这一件事，非常不灵活。 GPT-3 大模型中的大模型 首先， GPT-3 的模型所采用的数据量之大，高达上万亿，模型参数量也十分巨大，学习之复杂，计算之繁复不说了。 这种引导学习的方式，在超大模型上展示了惊人的效果：只需要给出一个或者几个示范样例，模型就能照猫画虎地给出正确答案。注意啊，是超大模型才可以，一般几亿参数的大模型是不行的。 （我们这里没有小模型，只有大模型、超大模型、巨大模型） chatGPT chatGPT 模型上基本上和之前都没有太大变化，主要变化的是训练策略变了。
42010编辑于 2023-06-30 - 来自专栏java初学
hashMap原理（java8）
下文我们主要结合源码，从存储结构、常用方法分析、扩容以及安全性等方面深入讲解HashMap的工作原理。
975170发布于 2018-05-14 - 来自专栏Python与算法之美
8，模型的训练
根据问题特点选择适当的估计器estimater模型： 分类(SVC,KNN,LR,NaiveBayes,...) 回归(Lasso,ElasticNet,SVR,...) 一，分类模型的训练 ? ? ? ? ? ? ? ? ? 二，回归模型的训练 ? ? ? ? ? ? ? ? 三，聚类模型的训练 KMeans算法的基本思想如下： 随机选择K个点作为初始质心 While 簇发生变化或小于最大迭代次数： 将每个点指派到最近的质心，形成K个簇 重新计算每个簇的质心 ? 管道的原理是把上一级估计器的输出作为下一级估计器的输入,相当于一条数据流水线。 例如下面常用的管道有3级，第一级进行数据预处理，第二级完成数据降维，第三级实现分类、回归或聚类功能。 可以结合FeatureUnion 和 Pipeline 来创造出更加复杂的模型。 ?
82031发布于 2020-07-17 - 来自专栏技术客栈
Java 8 Stream计算原理
Java 8 Stream简介 从Java 8 开始，我们可以使用Stream接口以及lambda表达式进行“流式计算”。它可以让我们对集合的操作更加简洁、更加可读、更加高效。 但Java8提供了并行式的流式计算，大大简化了我们的代码量，使得我们只需要写很少很简单的代码就可以利用计算机底层的多核资源。 从源码看Stream并行计算原理 上面我们通过在控制台输出线程的名字，看到了Stream的并行计算底层其实是使用的Fork/Join框架。那它到底是在哪使用Fork/Join的呢？ 所以这就从源码层面解释了Stream并行的底层原理是使用了Fork/Join框架。 ---- 参考资料：《Java 8 Stream并行计算原理》
35620编辑于 2023-07-20 - 来自专栏NLP/KG
大语言模型的预训练:基本概念原理、神经网络的语言模型、Transformer模型原理详解、Bert模型原理介绍
大语言模型的预训练1:基本概念原理、神经网络的语言模型、Transformer模型原理详解、Bert模型原理介绍 S 1.大语言模型的预训练 1.LLM预训练的基本概念 预训练属于迁移学习的范畴。 1.3 LLM预训练的基本原理 大语言模型预训练采用了 Transformer 模型的解码器部分，由于没有编码器部分，大语言模型去掉了中间的与编码器交互的多头注意力层。 优化器的超参数通常设置为：β1=0.9、β2=0.95以及ϵ=10−8 ； 训练稳定性：在大语言模型的预训练期间，经常会遇到训练不稳定的问题，可能导致模型无法继续训练下去。 如下图所示： 图片 按照上面的方法，使用不同的权重矩阵进行 8 次自注意力计算，得到 8 个不同的 Z 矩阵。接下来将这 8 个矩阵整合为一个矩阵。 具体流程如下： 把 8 个矩阵｛Z0，Z1，⋯，Z7｝拼接。 把拼接后的矩阵和一个权重矩阵 WO 相乘。 得到最终的矩阵 Z，这个矩阵包含了所有注意力头的信息。这个矩阵会输入到 FFN 层。 !
8.7K14编辑于 2023-07-17 - 来自专栏ops技术分享
Nginx结构原理全解析（8）
Nginx中从客户端访问的叫主请求，他被nginx这个程序来逐步处理。还有一种内部的请求，叫子请求。
24820发布于 2021-05-11 - 来自专栏JavaEdge
CurrentHashMap原理从7到8
JDK8 ? segmentMask为15,再散列后的数最大是32位二进制数据,向右无符号移动28位,即让高4位参与到散列运算中,(hash>>>segmentShift)&segmentMask的运算结果分别是4、15、7和8, 之所以不会读到过期的值,是因为根据Java内存模型的happen before原则,对volatile字段的写操作先于读操作,即使两个线程同时修改和获取 volatile变量,get操作也能拿到最新的值
4.9K101发布于 2018-05-16 - 来自专栏专注 Java 基础分享
揭秘 HashMap 实现原理（Java 8）
HashMap 作为一种容器类型，无论你是否了解过其内部的实现原理，它的大名已经频频出现在各种互联网面试中了。 从基本的使用角度来说，它很简单，但从其内部的实现来看（尤其是 Java 8 的改进以来），它又并非想象中那么容易。如果你一定要问了解其内部实现与否对于写程序究竟有多大影响，我不能给出一个确切的答案。 jdk 8 之前，其内部是由数组+链表来实现的，而 jdk 8 对于链表长度超过 8 的链表将转储为红黑树。大致的数据存储形式如下： ? 我们从最终结果可以看到，最后的 n 被打造为 8 个 1，也就是 2 的 8 次幂减一。 添加之后，如果发现链表长度超过 8，那么将链表转储成红黑树。
1.2K80发布于 2018-01-04 - 来自专栏Spark学习技巧
面试 | Java8 HashMap原理
DEFAULT_LOAD_FACTOR = 0.75f; // 当桶(bucket)上的结点数大于这个值时会转成红黑树 static final int TREEIFY_THRESHOLD = 8; int n = cap - 1; n |= n >>> 1; n |= n >>> 2; n |= n >>> 4; n |= n >>> 8; MAXIMUM_CAPACITY : n + 1; } 原理如下： 先说5个移位操作，会使cap的二进制从最高位的1到末尾全部置为1。 假设cap的二进制为01xx…xx。 如果cap本身是2的幂，如8（1000(2)），不对它减1而直接操作，将得到16。 Java8引入红黑树，当链表长度达到8， 执行treeifyBin，当桶数量达到64时，将链表转为红黑树，否则，执行resize()。
75430发布于 2018-12-24 - 来自专栏机器学习入门
【AI大模型】ChatGPT模型原理介绍（下）
数据集 数量（TOKENS） 训练数据占比 Common Crawl（filterd） 4100亿 60% Web Text2 190亿 22% BOOK1 120亿 8% BOOK2 550亿 8% Wikipedia 30亿 2% 不同数据的介绍: Common Crawl语料库包含在 8 年的网络爬行中收集的 PB 级数据. 目前基于ChatGPT的论文并没有公布, 因此接下来我们基于openai官网的介绍对其原理进行解析 2.1 ChatGPT原理 在介绍ChatGPT原理之前, 请大家先思考一个问题: “模型越大、参数越多 接下来, 将对每一步的细节进行详述. 2.4 监督调优模型 工作原理: 第一步是收集数据, 以训练有监督的策略模型. 工作原理: 选择 prompt 列表, SFT 模型为每个 prompt 生成多个输出（4 到 9 之间的任意值） 标注者将输出从最佳到最差排序.
64410编辑于 2024-09-18 DeepSeek模型：原理、回答机制与模型因子
本文将深入探讨DeepSeek的工作原理、回答生成机制以及其关键模型因子，并通过表格和流程图的形式进行对比分析。 一、DeepSeek的工作原理DeepSeek是一种基于Transformer架构的大语言模型，其核心设计借鉴了GPT系列模型的成功经验，同时在训练数据、模型架构和优化策略上进行了创新。 以下是DeepSeek的主要工作原理：预训练阶段undefinedDeepSeek通过大规模无监督学习，在海量文本数据上进行预训练。它采用自回归语言建模的方式，预测给定上下文中的下一个词。 五、DeepSeek原理的流程图表以下是一个简化版的DeepSeek工作流程图，展示了从输入到输出的核心步骤：+-------------------+ +----------------- 通过对原理、回答机制和模型因子的深入分析，我们可以看到DeepSeek在多个方面的独特优势。未来，随着技术的不断进步，DeepSeek有望在更多应用场景中发挥更大的价值。
2.5K10编辑于 2025-03-20- 来自专栏Cellinlab's Blog
浏览器工作原理 - V8 工作原理
闭包的内存模型 function foo () { var myName = 'cell'; let test1 = 1; const test2 = 2; var innerBar = innerBar; } var bar = foo(); bar.setName('cellinlab'); console.log(bar.getName()); // 1 // cellinlab 在内存模型的角度去分析闭包 新生代通常只支持 1~8 M 的容量，而老生代区支持的容量就很大。V8 中使用 副垃圾回收器回收新生代的垃圾，用主垃圾回收器回收老生代的垃圾，以便实现高效回收。 为了解决内存占用问题，V8 团队大幅重构了引擎架构，引入字节码，并且抛弃了之前的编译器，最终花了将进四年的时间，实现了现在的这套架构。 在 V8 中，就是解释器在解释执行字节码的同时，收集代码信息，发现部分代码变热后，交给编译器转换为机器码并缓存备用，从而提高执行效率。
61150编辑于 2023-05-17 - 来自专栏机器学习入门
【AI大模型】ChatGPT模型原理介绍（上）
学习目标 了解ChatGPT的本质 了解GPT系列模型的原理和区别 什么是ChatGPT？ 那么ChatGPT背后的实现原理是什么呢？接下来我们将给大家进行详细的解析. 在我们了解ChatGPT模型原理之前, 需要回顾下ChatGPT的成长史, 即我们需要对GPT-1、GPT-2、GPT-3等一系列模型进行了解和学习, 以便我们更好的理解ChatGPT的算法原理. 这里的 k 表示上文的窗口大小，理论上来讲 k 取的越大，模型所能获取的上文信息越充足，模型的能力越强。 ，层归一化； 训练参数，batch_size 从 64 增加到 512，上文窗口大小从 512 增加到 1024，等等； 优点： 文本生成效果好, 在8个语言模型任务中, 仅仅通过zero-shot
1.5K10编辑于 2024-09-18 Transformer 模型的工作原理
Transformer 模型的工作原理 在人工智能里，Transformer 模型宛如一颗耀眼的巨星，自诞生起便光芒四射，引领着整个领域不断向前发展。 让我们一同深入探索Transformer模型的奇妙世界，感受其独特魅力。 一、Transformer 模型 Transformer 模型是一种深度学习架构，最初为自然语言处理（NLP）而设计，如今已广泛应用于其他领域，如计算机视觉。 自注意力机制在神经网络中的架构图 总结来说，自注意力机制让模型关注序列中的所有元素，不遗漏重要信息，且能捕捉不同位置间的依赖关系，为 Transformer 模型的优异表现奠定基础。 例如，传统模型需一千万参数达 85%性能，经优化的模型仅需三百万参数就能达 87%性能，用更少资源实现更好效果，降低了计算成本，使先进 AI 模型能在更多设备上部署应用。
1K10编辑于 2025-06-13- 来自专栏机器学习算法原理与实践
最大熵模型原理小结
理解了最大熵模型，对逻辑回归，支持向量机以及决策树算法都会加深理解。本文就对最大熵模型的原理做一个小结。 1. 熵和条件熵的回顾 在决策树算法原理(上)一文中，我们已经讲到了熵和条件熵的概念，这里我们对它们做一个简单的回顾。 熵度量了事物的不确定性，越不确定的事物，它的熵就越大。 最大熵模型的定义 最大熵模型假设分类模型是一个条件概率分布$P(Y|X)$,X为特征，Y为输出。 最大熵模型损失函数的优化 在上一节我们已经得到了最大熵模型的函数$H(P)$。 惯例，我们总结下最大熵模型作为分类方法的优缺点： 最大熵模型的优点有： a) 最大熵统计模型获得的是所有满足约束条件的模型中信息熵极大的模型,作为经典的分类模型时准确率较高。
83110发布于 2018-08-14 - 来自专栏云数据库技术
大语言模型技术原理
除了自然语言本身的优势外，语境的上下文学习能力、迁移学习和文字总结能力也有很大的发挥空间，带着这些思考，我们有必要了解一下大语言模型背后的发展及其技术原理。 Self-Attention 原理 之前说Transformer的自注意机制突破了文本关注距离的限制，因此非常关键。 具体流程如下图，“Thinking Machines"的词向量经过最下面那层编码器后，使用不同的权重矩阵进行 8 次自注意力计算，就可以得到 8 个不同的 Z矩阵（0-7)。 现在重新看之前的例子，在多注意头机制下，"it" 关注的词有哪些，顶部的8种颜色代表8个注意头，可以看到有个注意头最关注"the animal"，另一个注意头关注"tired"，从某种意义上说，模型对“ PPO 算法已经存在了相对较长的时间，有大量关于其原理的指南，因而成为 RLHF 中的有利选择。 我们将微调任务表述为 RL 问题。
2.3K45编辑于 2023-05-30 - 来自专栏大模型成长之路
【大模型学习 | BLIP原理】
此外，目前广泛采用的数据集仍存在大量文本噪声，进一步限制了模型的性能提升。 一、预训练方法 1.1 图像文本模型 图像特征提取模型：VIT 文本特征提取模型：Unimodal encoder; Image-grounded text encoder; Image-grounded 为了提升模型对跨模态语义的建模能力，Cross-Attention 被加入到 SA 与 FFN 之间，作为一种跨模态交互机制。 这是因为生成任务要求模型按序预测每一个词，不能访问未来的信息。Causal attention 能保证自回归生成的正确性，使模型适合用作 decoder，实现图像到文本的自然语言生成。 最后组成一个新的数据集预训练模型。
1K10编辑于 2025-07-01 - 来自专栏瓜农老梁
Reactor线程模型【原理笔记】
前言 Reactor模型是基于事件驱动的线程模型，可以分为Reactor单线程模型、Reactor多线程模型、主从Reactor多线程模型，通常基于在I/O多路复用实现。 一、Reactor单线程模型 1、原理图示 在Reactor单线程模型中，操作在同一个Reactor线程中完成。根据事件的不同类型，由Dispatcher将事件转发到不同的角色中处理。 二、Reactor多线程模型 1、原理图示 在Reactor多线程模型中。根据事件的不同类型，由Dispatcher将事件转发到不同的角色中处理。 三、主从Reactor多线程模型 1、原理图示 Reactor多线程模型，由Acceptor接受客户端连接请求后，创建SocketChannel注册到Main-Reactor线程池中某个线程的Select
3.3K10发布于 2020-06-19 - 来自专栏屈定‘s Blog
Java8 Lambda（二）-Stream原理
推荐一篇博文,很好的介绍了Stream的原理.本文对其进行一些补充更加详细的讲解.
1.7K21发布于 2018-09-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号