- 综合排序
- 最热优先
- 最新优先
- 来自专栏新智元
OpenAI魔改大模型，参数减少100倍！13亿参数InstructGPT碾压GPT-3
2020年5月，OpenAI推出了参数量高达1750亿的语言预训练模型GPT-3。 起手就把参数量拉到了千亿级别，并且还顺便刷新了一系列基准测试和NLP任务的SOTA。 相比起来，当时最大的模型只有170亿个参数。 一经推出，可谓是「震惊」世界，颇有一种让「调参侠」失业的节奏。 但红极一时的GPT-3很快就沦为了各路语言模型的baseline。 不管参数多少，先拉来比一比再说。除此以外，作为「反面典型」，关于GPT-3各种伦理上的讨论也持续不断。 出乎意料的是，这个模型竟然比GPT-3小了100多倍，仅有13亿个参数。虽说最近有不少研究在探讨小模型的性能，但把参数量降到比GPT-2还少的确实不多见。 尽管参数少了100倍以上，但用户显然更喜欢InstructGPT 13B模型的输出，而不是GPT-3 175B模型的输出。
1.9K10编辑于 2022-02-24 大模型、小模型、参数量
## 几个概念总参数量 = 词嵌入层参数 + 解码器层参数小模型 就是在参数量上显著小于LLM的模型所有参数 都放在 safttensors 模型文件 中预训练 就是为了 生成合理的 参数值后训练 也是为了 生成合理的 参数值蒸馏、微调、强化学习，都是后训练大模型变成小模型采用"蒸馏+量化+剪枝"的组合策略 一、大模型 GPT-3 参数量详解大模型的参数量是指神经网络中所有可训练权重和偏置的总数，这些参数决定了模型的学习能力和表达能力 亿96层总参数量：1.21亿×96 ≈ 116亿，占66.1%层归一化（LayerNorm）：每层2次归一化，参数量可忽略不计3. ，最终达到1750亿 （175B） 二、小模型 Phi-3-mini 参数量详解 配置项数值词表大小 (V)32064隐藏层维度 (d_model)2048层数 (N)32注意力头数 ( 维度对比大模型 (LLM)小模型 (SLM)对参数量的影响隐藏层维度 (dmodeld_{model}dmodel)12288 (GPT-3/4)2048 (Phi-3) / 1024 (TinyLLaMA
55021编辑于 2026-01-04- 来自专栏人工智能
DeepSeek v3 的 MoE 模型架构与激活参数解析
本文将深入探讨 DeepSeek v3 这一模型的独特之处——其被描述为一个拥有 671B 参数的 MoE（Mixture of Experts）模型，其中 37B 参数在推理过程中被激活。 一个普通的深度学习模型可能相当于只有几个乐器的小型乐队，而拥有 671B 参数的 DeepSeek v3 则类似于拥有上千种乐器的大型交响乐团。 671B 参数和 37B 激活参数的关系DeepSeek v3 拥有 671B 的总参数量，但每次推理过程中仅激活 37B 参数。这种设计的优势在于减少计算成本，同时保持高效的性能。 实例分析：假设 DeepSeek v3 包含 10 个专家模块，每个模块有 67.1B 参数。 总结DeepSeek v3 的 671B 参数代表其潜在的计算能力，而 37B 激活参数体现了其高效的计算机制。
3.3K11编辑于 2025-01-12 - 来自专栏全栈程序员必看
sklearn输出模型参数_rfm模型算法
总第105篇 最近会开始一个新的系列，sklearn库中各模型的参数解释，本篇主要讲述最基础的LR模型。 模型参数详解 逻辑回归： sklearn.linear_model.LogisticRegression(penalty='l2', dual=False, tol=0.0001, class_weight:class_weight是很重要的一个参数，是用来调节正负样本比例的，默认是值为None，也就是正负样本的权重是一样的，你可以以dict的形式给模型传入任意你认为合适的权重比， 比如，有一数据集的正负样本绝对数量比为4:6,如果你给参数class_weight赋予balanced值，那么最后模型结果中，正负样本的权重比就会变成6:4。 set_params(**params):为估计器设置参数 你还可以看： 逻辑斯蒂回归模型 版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。
1K10编辑于 2022-11-04 - 来自专栏新智元
Meta发布首个「非参数化」掩码语言模型NPM：吊打500倍参数量的GPT-3
新智元报道 编辑：LRS 【新智元导读】Meta发布首个非参数化掩码语言模型NPM：那年双手插兜，不知道什么叫做out of vocabulary 虽然大型语言模型在NLP领域展现出的强大性能十分惊人 结果发现，无论是否采用检索和生成的方法，NPM都明显优于较大的参数模型，比如参数量高500倍的GPT-3和37倍的OPT 13B性能还强不少，并且NPM在处理罕见模式（词义或事实）和预测罕见或几乎未见过的词 可以看到，NPM选择在短语上得到的非参数化分布，而没有使用一个固定的输出词汇softmax作为输出。 但训练非参数化模型也带来了两个关键的问题： 1. 在参数化模型中，RoBERTa取得了最好的性能，出人意料地超过了包括GPT-3等在内的模型，可能是因为纯编码器模型的双向性起到了至关重要的作用，这也表明，因果语言模型可能不是一个合适的分类选择。 kNN-LM方法在参数模型中加入了非参数成分，其性能优于其他所有基线。尽管如此，仅仅依靠检索（kNN）在GPT-2中的表现很差，这表明仅在推理时使用kNN是有限的。
1.3K60编辑于 2023-01-09 - 来自专栏张俊红
Sklearn参数详解—LR模型
总第105篇 最近会开始一个新的系列，sklearn库中各模型的参数解释，本篇主要讲述最基础的LR模型。 模型参数详解 逻辑回归： sklearn.linear_model.LogisticRegression(penalty='l2', dual=False, tol=0.0001, class_weight:class_weight是很重要的一个参数，是用来调节正负样本比例的，默认是值为None，也就是正负样本的权重是一样的，你可以以dict的形式给模型传入任意你认为合适的权重比， 比如，有一数据集的正负样本绝对数量比为4:6,如果你给参数class_weight赋予balanced值，那么最后模型结果中，正负样本的权重比就会变成6:4。 模型对象 coef_:返回各特征的系数,绝对值大小可以理解成特征重要性 intercept_:返回模型的截距 n_iter_:模型迭代次数 模型方法 decision_function(X):返回决策函数值
7.8K60发布于 2018-06-11 - 来自专栏深度学习自然语言处理
GLoRA—高效微调模型参数！
这些高度复杂的模型，通常具有数百万甚至数十亿个参数，在计算机视觉、自然语言理解和语音识别等领域表现出了卓越的能力。 本文提出了广义LoRA(GLoRA)，一种通用参数高效微调任务的先进方法。 FacT：FacT提出使用张量分解方法来存储额外的权重，将模型的权重张量化为单个3D张量，然后将其相加分解为轻量级因子。在微调中，只有因子会被更新和存储。 RepAdapter：RepAdapter将轻量级网络插入到预先训练的模型中，并且在训练后，额外的参数将被重新参数化为附近的投影权重。 它们之间的区别仅在于搜索空间中的LoRA维度，该维度在最大模型中为8和4，在中间模型中为4和2，在最小模型中为2。本文方法中增加的参数灵活性允许在最终模型中进行用户定义的可训练参数计数。 将最先进的参数有效迁移学习提高了2.9%，即使是最小的模型也大大优于所有现有方法。
85610编辑于 2023-08-22 - 来自专栏python3
DDR3内存参数
并且DDR3必须是绿色封装，不能含有任何有害物质。 DDR2的CL范围一般在2至5之间，而DDR3则在5至11之间，且附加延迟（AL）的设计也有所变化。DDR2时AL的范围是0至4，而DDR3时AL有三种选项，分别是0、CL-1和CL-2。 另外，DDR3还新增加了一个时序参数——写入延迟（CWD），这一参数将根据具体的工作频率而定。 DDR3内存优势何在 DDR3除了拥有更高的内存带宽外，其实在延迟值方面也是有提升的。 ，相比现在DDR2的3～6又要高出很多。 目前DDR3-1066、DDR3-1333和DDR3-1600的CL值分别为7-7-7、8-8-8及9-9-9，把内存颗粒工作频率计算在内，其内存模块的延迟值应为13.125ns、12ns及11.25ns
3.8K10发布于 2020-01-07 - 来自专栏python3
python3-可变参数
def personinfo(name,**info): print(name) print(info) for key in info: print(key) print(info[key]) personinfo("zhangsang",age=25,sex="man") personinfo("lisi",age=29,sex="woman") zhangsang {'age': 25, 'sex': 'man'} age 25 sex man
56620发布于 2020-01-03 - 来自专栏新智元
深度学习变天，模型越做越小！Google发布FLAN，模型参数少400亿，性能超越GPT-3
最近Google发布了一个新的语言模型FLAN，或许能在深度学习中带来新的发展趋势，它相比GPT-3少了400亿参数，性能还更强！ 但它也有一个致命缺点，那就是训练时间长，需要海量的训练数据，并且生成的模型参数量极大，需要高性能运算设备才能发挥全部性能。目前的研究也在朝着更大的语言模型、更多任务的数据方向发展。 传统观点认为，模型的参数越多，它可以完成的任务就越复杂，性能也越好。在机器学习中，参数是模型在进行预测时使用的内部配置变量，通过不同的参数可以对不同的问题进行拟合。 最近，谷歌的研究人员发表了一项研究，声称他们发布了一个参数量远小于 GPT-3 的模型——微调语言网络 (fine-tuned language net, FLAN)，并且在许多有难度的基准测试中性能都大幅超过 论文地址：https://arxiv.org/pdf/2109.01652.pdf 与 GPT-3 的 1750 亿个参数相比，FLAN 拥有 1370 亿个参数，在研究人员对其进行测试的 25 项任务中
81310发布于 2021-09-17 - 来自专栏自然语言处理
大模型生成解码参数速查
控制输出长度的参数 控制所使用的生成策略的参数 用于操作模型输出 logits 的参数 定义“generate”输出变量的参数 可以在生成时使用的特殊字符
24610编辑于 2024-01-09 - 来自专栏技术分享
ChatGPT模型请求参数学习
请求响应参数详情： 如果刚开始进行开发， 只用对必须携带的参数进行测试， 等项目熟练了之后再将所有的参数都进行测 查看可用的请求正文 ： curl https://api.openai.com/v1 与GPT-4 Turbo和所有GPT-3.5 Turbo模型兼容。 type 是一个可选的字符串参数，默认值为 text。 如果省略parameters，则定义了一个参数列表为空的函数。 tool_choice (string or object，可选)：控制模型调用的函数（如果有）。 .addQueryParameter("token", "eyJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJ4ZmciLCJleHAiOjE3MDU3NTQzNTYsImlhdCI6MTcwNTc1NDA1NiwianRpIjoiMTFkOGRmNWEtZjI3Mi00NTE0LWIyYmItYmMyZGNkYmZkNTZkIiwidXNlcm5hbWUiOiJ4ZmcifQ.Bfsb7Mp9t7wp7pvKuh-U63y2sOhW1nbcppDYHk30fe8 通过创建问答模型的问答请求对象， 然后将上述的Message内容 和 需要的一些其他参数传递进去。
1K10编辑于 2024-05-31 - 来自专栏自然语言处理
模型融合与超参数优化
假设对于一个二分类问题，有3个基础模型，那么就采取投票制的方法，投票多者确定为最终的分类。 2 Averaging 对于回归问题，一个简单直接的思路是取平均。稍稍改进的方法是进行加权平均。 权值可以用排序的方法确定，举个例子，比如A、B、C三种基本模型，模型效果进行排名，假设排名分别是1，2，3，那么给这三个模型赋予的权值分别是3/6、2/6、1/6。 3 Bagging Bagging就是采用有放回的方式进行抽样，用抽样的样本建立子模型,对子模型进行训练，这个过程重复多次，最后进行融合。 3、对五个模型，分别进行步骤2，我们将获得5个模型，以及五个模型分别通过交叉验证获得的训练集预测结果。即P1、P2、P3、P4、P5。 4、用五个模型分别对测试集进行预测，得到测试集的预测结果：T1、T2、T3、T4、T5。 5、将P15、T15作为下一层的训练集和测试集。在图中分别作为了模型6的训练集和测试集。
1.1K10发布于 2021-11-24 - 来自专栏计算机视觉理论及其实现
python3中的缺省参数和命名参数
test(a,b):result=a+bprint("result=%d"%(a+b))test(11,22)test(11,1)test(22,1)def test1(a,b=1):#b=1 是一个缺省参数 result=a+bprint("result=%d"%(a+b))test1(11)test1(11,b=22) #此处b=22 是一个命名参数
2K10编辑于 2022-09-03 - 来自专栏数据科学（冷冻工厂）
Python 模型超参数调优
超参数的一些示例： 树的数量或树的深度 矩阵分解中潜在因素的数量 学习率（多种模式） 深层神经网络隐藏层数 k均值聚类中的簇数 超参数的调整，对于提升模型的相关性能有一定的作用。 3. 书 封面 超参数是构建有用的机器学习模型的重要元素。本书为 Python 超参数调整方法[2]（机器学习最流行的编码语言之一）。 深入了解 Scikit、Hyperopt、Optuna、NNI 和 DEAP 等顶级框架 掌握可立即应用于机器学习模型的最佳实践 实战 目前该书籍的Github仓库已有70Star，正在持续增长。 Github仓库 本书还在Github[3]中提供了许多实例，用于查看书中提到的所有示例的结果。 /product/hyperparameter-tuning-with-python [3] Github: https://github.com/PacktPublishing/Hyperparameter-Tuning-with-Python
62530编辑于 2023-02-27 - 来自专栏机器学习算法与Python学习
1750亿参数大模型首次公开所有代码，效果媲美GPT-3
用一句话总结就是：Meta AI 正在开放用于人工智能研究的大型语言模型访问权限，并表示这个具有 1750 亿参数的模型，是第一个可供更广泛的人工智能研究社区使用的模型。 值得注意的是，OpenAI 提出的 GPT-3 也具有 1750 亿参数，不知道这一数字是巧合还是其他。 下面我们介绍一下这项研究的主要内容。 Meta AI 开放 1750 亿参数的模型 大型语言模型，即具有超过 1000 亿个参数的自然语言处理 (NLP) 系统，在过去几年中改变了 NLP 和 AI 研究。 根据 Meta AI 对开放科学的承诺，他们正在共享 Open Pretrained Transformer (OPT-175B)，这是一个具有 1750 亿参数的模型，在公共数据集上训练而成，之所以共享这个模型 尽管有非常粗略的估计，但 OPT-175B 是作为 GPT-3 的替代品提出的，其碳足迹是 GPT-3 的 1/7。
1.1K30编辑于 2022-05-05 - 来自专栏全栈测试开发日记
Pytest学习笔记3——参数化
Params参数化(单个) 前面讲fixture函数时，它有个参数params用来传递参数，并且与request结合使用，先看单个： import pytest seq = [1, 2, 3] [ 66%]用例 2 fixture_test03.py::TestData::test_1[3] 参数 PASSED [100%]用例 3 list的每个元素都是一个元组，元组里的每个元素和按参数顺序一一对应 3、传一个参数 @pytest.mark.parametrize('参数名'，list) 进行参数化 4、传两个参数@pytest.mark.parametrize ('参数名1，参数名2'，[(参数1_data[0], 参数2_data[0]),(参数1_data[1], 参数2_data[1])]) 进行参数化 seq = [1, 2, 3] def get_data [ 66%]用例 2 参数：3 PASSED [100%]用例 3 注意1：如果将@pytest.mark.parametrize参数名称改成x
91910编辑于 2023-02-02 - 来自专栏以终为始
Scala 【 3 循环、函数和参数 】
如果我们调用时不给出参数的具体值，使用自身的默认值，就需要在定义函数时就定义，这样子传递参数的时候就可以不传这个。 在调用函数的时候，可以不按照函数定义的参数顺序来传递参数，使用带名参数的方式来传递。 当然还可以混合使用，但是未命名参数必须要填写在前面。 函数的变长参数 scala 中可能需要将函数定义的参数个数为可变的形式，此时需要使用变长参数。 要是有返回值一定要有 = 。
88220编辑于 2023-03-09 - 来自专栏机器之心
谷歌视觉语言模型PaLI-3问世，参数仅5B，更小、更快、更强
机器之心报道 编辑：杜伟、陈萍 在多模态（视觉语言）大模型领域，拼参数赢性能的同时，追求参数更小、速度更快、性能更强是另一条研究路径。 在大模型时代，视觉语言模型（VLM）的参数已经扩展到了数百甚至数千亿，使得性能持续增加。与此同时，更小规模的模型仍然很重要，它们更易于训练和服务，更加环境友好，并为模型设计提供更快的研究周期。 作为一个多模态大模型，PaLI 的关键结构之一是复用大型单模态基干进行语言和视觉建模，在语言方面复用 13B 参数的 mT5-XXL，在视觉方面复用 2B 参数的 ViT-G 和 4B 参数的 ViT-e 除了 5B PaLI-3 模型之外，研究者还利用最近提出的 SigLIP 方法，构建了一个参数扩展到 2B 的 SOTA 多语言对比视觉模型。 研究者使用 SigLIP 训练方法，从对比预训练的 ViT-G/14 模型（参数约为 2B）初始化出 PaLI-3 的视觉基干。
88130编辑于 2023-10-24 - 来自专栏新智元
1.6万亿参数，等于9个GPT-3 谷歌开源巨无霸语言模型Switch Transformer
，秒杀GPT-3！」 万亿级参数模型Switch Transformer开源了！ 距GPT-3问世不到一年的时间，谷歌大脑团队就重磅推出了超级语言模型Switch Transformer，有1.6万亿个参数。 ? 比之前由谷歌开发最大的语言模型T5-XXL足足快了4倍，比基本的T5模型快了7倍，简直秒杀GPT-3！ GPT-3使用了惊人的1750亿参数，堪称史上最大AI模型。 最近的研究工作主要集中于增加这些模型的大小（以参数数量衡量），其结果可能超过人类的表现。 来自OpenAI的团队发现，GPT-3模型的性能确实遵循幂律关系随参数数量扩展。 ? 结果得到一个稀疏激活（sparsely activated）模型——仅使用模型的权值子集，或仅转换模型中输入数据的参数。该参数数量惊人，但计算成本恒定。 ?
57730发布于 2021-03-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号