- 综合排序
- 最热优先
- 最新优先
- 来自专栏计算机工具
ResNet 模型原理
3、提高模型的泛化能力 在一些深度神经网络的训练中，由于训练集与测试集的差异，造成了过拟合的现象。 通过加入Skip Connection，可以让更多的信息有机会被保留下来，从而增强模型的泛化能力，降低过拟合的风险。 残差网络建立在BN之上，用多项式拟合差值。 作者通过实验：通过浅层网络+ y=x 等同映射构造深层模型，结果深层模型并没有比浅层网络有等同或更低的错误率，推断退化问题可能是因为深层的网络并不是那么好训练，也就是求解器很难去利用多层网络拟合同等函数 如果深层网络的后面那些层是恒等映射，那么模型就退化为一个浅层网络。那现在要解决的就是学习恒等映射函数了。 ResNet 模型原理 VGG 网络在特征表示上有极大的优势，但深度网络训练起来非常困难。
55210编辑于 2024-12-14 - 来自专栏开源心路
chatGPT模型原理
简介 openai 的 GPT 大模型的发展历程。 GPT-2 我们一般的 NLP 任务，文本分类模型就只能分类，分词模型就只能分词，机器翻译也就只能完成翻译这一件事，非常不灵活。 GPT-3 大模型中的大模型 首先， GPT-3 的模型所采用的数据量之大，高达上万亿，模型参数量也十分巨大，学习之复杂，计算之繁复不说了。 这种引导学习的方式，在超大模型上展示了惊人的效果：只需要给出一个或者几个示范样例，模型就能照猫画虎地给出正确答案。注意啊，是超大模型才可以，一般几亿参数的大模型是不行的。 （我们这里没有小模型，只有大模型、超大模型、巨大模型） chatGPT chatGPT 模型上基本上和之前都没有太大变化，主要变化的是训练策略变了。
42010编辑于 2023-06-30 - 来自专栏Reck Zhang
Java 10 - 内存模型
内存模型 主存储器与工作存储器 主存储器 方法区(Method Area) 方法区用于存储类的信息, 常量, 静态变量, 即时编译器编译后的代码. 栈(Java Virtual Machine Stacks) 代表着Java方法执行的内存模型, 每个方法执行时都会创建一个栈帧来存储方法的变量表, 操作数栈, 动态链接方法, 返回值, 返回地址等信息
37720发布于 2021-08-11 - 来自专栏Python与算法之美
10，模型的优化
搜索超参数空间以优化超参数需要明确以下方面： 估计器 超参数空间 交叉验证方案 打分函数 搜寻或采样方法（网格搜索法或随机搜索法） 优化模型的常见方法包括 网格搜索法，随机搜索法，模型特定交叉验证， 三， 模型特定交叉验证 一些特定的模型，sklearn构建了一些内部含有交叉验证优化机制的估计器。 它们主要是在linear_model模块。 四， 信息准则优化 模型选择主要由两个思路。 解释性框架：好的模型应该是最能解释现有数据的模型。可以用似然函数来度量模型对数据集描述能力。 预测性框架：好的模型应该是最能预测结果的模型。 通常模型参数越多越复杂，越容易出现过拟合。 所以，模型选择问题在模型复杂度与模型对数据集描述能力（即似然函数）之间寻求最佳平衡。 AIC(赤池信息准则)和BIC(贝叶斯信息准则)对模型的选择提供了一种判据。 AIC信息准则选择AIC最大的模型。 BIC信息准则选择BIC最大的模型。
77421发布于 2020-07-17 - 来自专栏ops技术分享
Nginx结构原理全解析（10）
4 reload 流程 1）向master进程发送HUP信号（reload命令） 2）master进程校验配置语法是否正确 3）master进行打开新的监听端口 4）master进程用新配置启动新的worker子进程 5）master进程向老worker子进程发送QUIT信号 6）老worker进程关闭监听句柄，处理完当前连接后结束进程 image.png
30030发布于 2021-05-11 - 来自专栏NLP/KG
大语言模型的预训练:基本概念原理、神经网络的语言模型、Transformer模型原理详解、Bert模型原理介绍
大语言模型的预训练1:基本概念原理、神经网络的语言模型、Transformer模型原理详解、Bert模型原理介绍 S 1.大语言模型的预训练 1.LLM预训练的基本概念 预训练属于迁移学习的范畴。 大语言模型的预训练是指搭建一个大的神经网络模型并喂入海量的数据以某种方法去训练语言模型。大语言模型预训练的主要特点是训练语言模型所用的数据量够多、模型够大。 1.3 LLM预训练的基本原理 大语言模型预训练采用了 Transformer 模型的解码器部分，由于没有编码器部分，大语言模型去掉了中间的与编码器交互的多头注意力层。 学习率衰减策略在后续训练过程中逐步降低学习率使其达到最大值的 10% 左右或者模型收敛； 优化器：Adam 优化器和 AdamW 优化器是常用的训练大语言模型的优化方法，它们都是基于低阶自适应估计矩的一阶梯度优化 优化器的超参数通常设置为：β1=0.9、β2=0.95以及ϵ=10−8 ； 训练稳定性：在大语言模型的预训练期间，经常会遇到训练不稳定的问题，可能导致模型无法继续训练下去。
8.7K14编辑于 2023-07-17 - 来自专栏全栈程序员必看
Django（10）ORM模型介绍
所以我们采用ORM模型 ORM模型介绍 orm全称Object Relational Mapping，中文叫做对象关系映射，通过ORM我们可以通过类的方式去操作数据库，而不用再写原生的SQL语句。 通过把表映射成类，把行作实例，把字段作为属性，ORM在执行对象操作的时候最终还是会把对应的操作转换为数据库原生语句 ORM的优点 易用性：使用ORM做数据库的开发可以有效的减少重复SQL语句的概率，写出来的模型也更加直观 ORM的实现过程 （1）配置目标数据库，在setting.py中设置配置属性 （2）构建虚拟对象数据库，在App的model.py文件中以类的形式定义模型 （3）通过模型在目标数据库中创建对象的数据表 （4）在视图函数中使用模型来实现目标数据库的读写操作 发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/166174.html原文链接：https://javaforall.cn
36620编辑于 2022-09-20 - 来自专栏学习之路
【Linux网络#10】：Https协议原理
本文将详细探讨HTTPS协议的工作原理、HTTP与HTTPS的区别、加密技术的应用以及如何通过证书认证保障安全通信 1.1 HTTPS 是什么及其工作原理？ HTTPS的工作原理如下： 当用户通过HTTPS访问网站时，数据首先被加密层处理，进行加密后再交给传输层。 接收方在接收到数据后，同样通过加密层解密，解密后的数据再交给应用层使用。 虽然非对称加密的安全性更高，但由于算法复杂，效率较低使得加密解密速度没有对称加密解密的速度快 1.5 数据摘要与数据指纹 数字指纹(数据摘要)：基本原理是利用单向散列函数(Hash 函数)对信息进行运算 四、百度网盘的工作原理 看了上面这么多，其实我们就可以类比的知道 百度网盘 的工作原理 百度网盘的工作原理核心在于文件指纹技术（MD5校验）与HTTPS加密传输的结合，通过优化存储效率并保障数据安全，实现大容量存储与高效管理 例如，一个视频文件的MD5值可能为7F3B85B0A1F8E768D43C502FA03A2853 秒传与去重 秒传原理：系统将文件的MD5值与服务器数据库比对。
56010编辑于 2025-06-02 - 来自专栏机器学习入门
【AI大模型】ChatGPT模型原理介绍（下）
，而 in-context learning 使用标注数据时不做任何的梯度回传，模型参数不更新； in-context learning 依赖的数据量（10～100）远远小于 fine-tuning 目前基于ChatGPT的论文并没有公布, 因此接下来我们基于openai官网的介绍对其原理进行解析 2.1 ChatGPT原理 在介绍ChatGPT原理之前, 请大家先思考一个问题: “模型越大、参数越多 接下来, 将对每一步的细节进行详述. 2.4 监督调优模型 工作原理: 第一步是收集数据, 以训练有监督的策略模型. 工作原理: 选择 prompt 列表, SFT 模型为每个 prompt 生成多个输出（4 到 9 之间的任意值） 标注者将输出从最佳到最差排序. 结果是一个新的标签数据集, 该数据集的大小大约是用于 SFT 模型的精确数据集的 10 倍； 此新数据用于训练 RM 模型 .
64410编辑于 2024-09-18 DeepSeek模型：原理、回答机制与模型因子
本文将深入探讨DeepSeek的工作原理、回答生成机制以及其关键模型因子，并通过表格和流程图的形式进行对比分析。 一、DeepSeek的工作原理DeepSeek是一种基于Transformer架构的大语言模型，其核心设计借鉴了GPT系列模型的成功经验，同时在训练数据、模型架构和优化策略上进行了创新。 以下是DeepSeek的主要工作原理：预训练阶段undefinedDeepSeek通过大规模无监督学习，在海量文本数据上进行预训练。它采用自回归语言建模的方式，预测给定上下文中的下一个词。 五、DeepSeek原理的流程图表以下是一个简化版的DeepSeek工作流程图，展示了从输入到输出的核心步骤：+-------------------+ +----------------- 通过对原理、回答机制和模型因子的深入分析，我们可以看到DeepSeek在多个方面的独特优势。未来，随着技术的不断进步，DeepSeek有望在更多应用场景中发挥更大的价值。
2.5K10编辑于 2025-03-20- 来自专栏机器学习入门
【AI大模型】ChatGPT模型原理介绍（上）
学习目标 了解ChatGPT的本质 了解GPT系列模型的原理和区别 什么是ChatGPT？ 那么ChatGPT背后的实现原理是什么呢？接下来我们将给大家进行详细的解析. 在我们了解ChatGPT模型原理之前, 需要回顾下ChatGPT的成长史, 即我们需要对GPT-1、GPT-2、GPT-3等一系列模型进行了解和学习, 以便我们更好的理解ChatGPT的算法原理. 这里的 k 表示上文的窗口大小，理论上来讲 k 取的越大，模型所能获取的上文信息越充足，模型的能力越强。 这些书籍因为没有发布, 所以很难在下游数据集上见到, 更能验证模型的泛化能力. 2.4 GPT-1模型的特点 模型的一些关键参数为： 参数 取值 transformer 层数 12 特征维度 768
1.5K10编辑于 2024-09-18 Transformer 模型的工作原理
Transformer 模型的工作原理 在人工智能里，Transformer 模型宛如一颗耀眼的巨星，自诞生起便光芒四射，引领着整个领域不断向前发展。 让我们一同深入探索Transformer模型的奇妙世界，感受其独特魅力。 一、Transformer 模型 Transformer 模型是一种深度学习架构，最初为自然语言处理（NLP）而设计，如今已广泛应用于其他领域，如计算机视觉。 自注意力机制在神经网络中的架构图 总结来说，自注意力机制让模型关注序列中的所有元素，不遗漏重要信息，且能捕捉不同位置间的依赖关系，为 Transformer 模型的优异表现奠定基础。 例如，传统模型需一千万参数达 85%性能，经优化的模型仅需三百万参数就能达 87%性能，用更少资源实现更好效果，降低了计算成本，使先进 AI 模型能在更多设备上部署应用。
1K10编辑于 2025-06-13- 来自专栏机器学习算法原理与实践
最大熵模型原理小结
理解了最大熵模型，对逻辑回归，支持向量机以及决策树算法都会加深理解。本文就对最大熵模型的原理做一个小结。 1. 熵和条件熵的回顾 在决策树算法原理(上)一文中，我们已经讲到了熵和条件熵的概念，这里我们对它们做一个简单的回顾。 熵度量了事物的不确定性，越不确定的事物，它的熵就越大。 最大熵模型的定义 最大熵模型假设分类模型是一个条件概率分布$P(Y|X)$,X为特征，Y为输出。 最大熵模型损失函数的优化 在上一节我们已经得到了最大熵模型的函数$H(P)$。 惯例，我们总结下最大熵模型作为分类方法的优缺点： 最大熵模型的优点有： a) 最大熵统计模型获得的是所有满足约束条件的模型中信息熵极大的模型,作为经典的分类模型时准确率较高。
83110发布于 2018-08-14 - 来自专栏云数据库技术
大语言模型技术原理
除了自然语言本身的优势外，语境的上下文学习能力、迁移学习和文字总结能力也有很大的发挥空间，带着这些思考，我们有必要了解一下大语言模型背后的发展及其技术原理。 得到的一般任务不可知模型（或称为通用模型）优于经过判别训练的模型，在论文选定的12种数据集中有9个取得更好效果。 InstructGPT模型的参数为1.3B，而GPT-3模型的参数为175B，约为InstructGPT模型的130倍，但InstructGPT模型的输出却优于GPT-3模型的输出。 Self-Attention 原理 之前说Transformer的自注意机制突破了文本关注距离的限制，因此非常关键。 PPO 算法已经存在了相对较长的时间，有大量关于其原理的指南，因而成为 RLHF 中的有利选择。 我们将微调任务表述为 RL 问题。
2.3K45编辑于 2023-05-30 - 来自专栏大模型成长之路
【大模型学习 | BLIP原理】
此外，目前广泛采用的数据集仍存在大量文本噪声，进一步限制了模型的性能提升。 一、预训练方法 1.1 图像文本模型 图像特征提取模型：VIT 文本特征提取模型：Unimodal encoder; Image-grounded text encoder; Image-grounded 为了提升模型对跨模态语义的建模能力，Cross-Attention 被加入到 SA 与 FFN 之间，作为一种跨模态交互机制。 这是因为生成任务要求模型按序预测每一个词，不能访问未来的信息。Causal attention 能保证自回归生成的正确性，使模型适合用作 decoder，实现图像到文本的自然语言生成。 最后组成一个新的数据集预训练模型。
1K10编辑于 2025-07-01 - 来自专栏瓜农老梁
Reactor线程模型【原理笔记】
前言 Reactor模型是基于事件驱动的线程模型，可以分为Reactor单线程模型、Reactor多线程模型、主从Reactor多线程模型，通常基于在I/O多路复用实现。 一、Reactor单线程模型 1、原理图示 在Reactor单线程模型中，操作在同一个Reactor线程中完成。根据事件的不同类型，由Dispatcher将事件转发到不同的角色中处理。 二、Reactor多线程模型 1、原理图示 在Reactor多线程模型中。根据事件的不同类型，由Dispatcher将事件转发到不同的角色中处理。 三、主从Reactor多线程模型 1、原理图示 Reactor多线程模型，由Acceptor接受客户端连接请求后，创建SocketChannel注册到Main-Reactor线程池中某个线程的Select
3.3K10发布于 2020-06-19 - 来自专栏paddle深度学习
paddle深度学习10 模型准备
在深度学习中，模型训练是一个迭代的过程，通过不断调整模型参数，使其在给定任务上的表现逐渐提升。本节将详细介绍模型训练的基本流程，包括模型定义、损失函数和优化器的选择，以及训练循环的各个步骤。 【定义模型】在PaddlePaddle中，模型通常通过继承 paddle.nn.Layer 类来定义。可以在这个类中定义模型的结构，比如全连接层、卷积层、循环神经网络层等。 ，通常包括以下几个步骤：1)前向传播将输入数据传入模型，得到模型的预测输出。 y_pred = model(x) # x是输入数据，y_pred是模型预测输出2)计算损失使用损失函数计算模型预测值与真实值之间的差距。 模型评估指标在训练过程中，除了损失函数外，我们还需要使用一些评估指标来衡量模型的性能。
23810编辑于 2025-01-16 - 来自专栏机器学习与统计学
如何口述机器学习模型原理
作者：Ricky翘 zhuanlan.zhihu.com/p/34128571 有时碰到跟别人聊起模型的熟悉时，不免要阐述下模型的原理，但一般口头交流都比较难，因为脑海里面都是一些公式，似乎从功利角度有必要把模型原理用文字表达一遍 如何是对于矩阵，原理是一样的，不会设计矩阵的转置和矩阵的求导，最后参数为delta=X的转置乘以X，这两个乘起来再求他们的逆，最后再乘X的转置和Y ? 每一次的计算是为了减少上一次的残差(residual)，而为了消除残差，我们可以在 残差减少的梯度(Gradient)方向 上建立一个新的模型。 所以说，在Gradient Boost中，每个新的模型的遍历是为了使得之前模型的残差往梯度方向减少。与传统Boost对正确、错误的样本进行加权有着很大的区别。
95620发布于 2019-07-22 - 来自专栏Java项目实战
Transformer大模型的运行原理
一、原理介绍Transformer是谷歌研究院在2017年提出的一种重要的神经网络结构,目前已广泛应用于自然语言处理领域。 它的主要运行原理如下:Encoder-Decoder结构Transformer采用Encoder-Decoder结构。 综上,Transformer的主要原理在于Encoder-Decoder结构、Multi-Head Attention机制、Positional Encoding方法以及残差连接和层标准化技术。 BERT(谷歌):自然语言理解预训练模型,应用于搜索、推荐、机器翻译等,官网bert.dev,用户数10亿+。 T5(谷歌):统一的文本编码器-解码器框架,可应用于多种自然语言处理任务,xn--ai-4d1dw86k.googleblog.com,用户数10亿+。
2.6K10编辑于 2023-06-20 - 来自专栏AI算法能力提高班
DDIM | 隐式扩散模型原理
://arxiv.org/abs/2010.02502 code https://github.com/ermongroup/ddim ---- Abstract DDIMs是一个更高效的迭代隐式概率模型 这些非马尔可夫过程可以对应于确定性的生成过程，从而产生能更快地生成高质量样本的隐式模型 DDIMs相对DDPMs，生成样本的速度快了10x，甚至50x，可以生成高质量样本，最重要的是实现了inversion 由此产生的模型成为隐式概率模型，其中样本从潜在变量生成，其固定程序为(从 xT 到 x0） image-20230927103549942 当 η = 1 时为 DDPM，当 η = 0 时为 DDIM
2.5K20编辑于 2023-09-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号