- 综合排序
- 最热优先
- 最新优先
大模型、小模型、参数量
## 几个概念总参数量 = 词嵌入层参数 + 解码器层参数小模型 就是在参数量上显著小于LLM的模型所有参数 都放在 safttensors 模型文件 中预训练 就是为了 生成合理的 参数值后训练 也是为了 生成合理的 参数值蒸馏、微调、强化学习，都是后训练大模型变成小模型采用"蒸馏+量化+剪枝"的组合策略 一、大模型 GPT-3 参数量详解大模型的参数量是指神经网络中所有可训练权重和偏置的总数，这些参数决定了模型的学习能力和表达能力 三、大模型、小模型参数差距的本质大模型的参数量，本质上是用 dmodel2d_{model}^2dmodel2 的代价，换取高维语义空间的表达能力。 四、为什么对小模型感兴趣以前，我们用Java+DB开发应用，用C+RTOS开发嵌入式软件。 所以，本篇理解小模型，下篇学习小模型建模或小模型训练。
45721编辑于 2026-01-04- 来自专栏机器之心
小模型如何比肩大模型，北理工发布明德大模型MindLLM，小模型潜力巨大
我们发现模型参数大小的差异不会在特定领域内产生显着差异，并且较小的模型可以优于较大的模型。 在着手训练具有数十亿参数的大型语言模型之前，我们首先训练较小的模型，以建立训练更大模型的扩展规律。 领域应用 为了展示小模型在具体领域应用的效果，我们采用了在金融和法律两个公开数据集来做出验证。从结果中可以观察到，模型的参数大小对领域性能有一定影响，但表现并不明显。 MindLLM的性能在领域应用内超越了其它同等规模的模型，并且与更大的模型有可比性。进一步证明了小模型在领域应用落地有极大潜力。 金融领域 在该领域，对金融数据进行情绪感知分类任务。 同时，与更大规模的模型相比，它们能够以更快的训练速度和更少的训练资源取得相当的成绩。基于以上分析，我们认为小模型仍然具有极大的潜力。
1.6K20编辑于 2023-10-29 - 来自专栏喔家ArchiSelf
解读小模型——SLM
另一方面，人们也在创建更小的模型，称为小型语言模型（SLM），以便高效地部署在设备上，如台式机、智能手机和可穿戴设备。SLM并不是指传统的参数较少的模型，而是大模型的小型化版本。 与大模型相比，SLM是一种简化的、高效的语言模型，参数数量减少，总体规模较小。SLM中的“小”表示与大型语言模型相比，参数数量和模型的总体大小都减少了。 虽然大模型可能有数十亿甚至数万亿个参数，但 SLM 通常只有几百万到几亿个参数。 然而，什么是“小”可以根据场景和语言建模的当前技术状态而变化。 随着近年来模型规模呈指数级增长，曾经被认为是大模型的东西现在可能被认为是小模型。GPT-2就是一个很好的例子。 2. 为什么参数的数量很重要？ 语言模型中的参数数量决定了语言模型在训练期间学习和存储信息的能力。更多的参数通常允许模型捕获更复杂的模式和细微差别，从而提高语言任务的性能。
1.1K10编辑于 2024-12-02 - 来自专栏JusterZhu
极客说｜微软 Phi 系列小模型和多模态小模型
在这样的背景下，小模型（Small Language Models, SLMs）的研究就显得非常重要。小模型以其相对较小的规模和较低的计算算力需求，为资源有限的端侧设备环境提供了一种可行的解决方案。 微软在小模型方面也持续进行了很长时间的研究，推出了 Phi 系列模型，证明了即使在较小的模型规模下，也能够实现强大的语言理解能力，生成能力，和多模态理解能力。 Phi-1 Phi-1 模型是这个系列的起点，它是一个基于 Transformer 架构的模型，拥有 1.3 亿参数。 Phi-3 系列 Phi3 系列有三个不同量级的小模型，分别叫做 Phi-3 mini, Phi-3 small 和 Phi-3 medium。 PC 上用 Phi-3-visio 进行轿车司机是否系安全带的图像问答测试 Phi-3.5 系列 Phi-3.5 系列小模型是最新一代的 Phi 系列小模型，该系列包括了 Phi-3.5-mini、Phi
60000编辑于 2025-01-23 - 来自专栏云云众生s
小语言模型的崛起
随着语言模型不断进步，变得功能更多元、能力更强大，变“小”似乎是更佳的方向。 译自 The Rise of Small Language Models，作者 Kimberley Mok。 小语言模型与 LLM 的比较 这些问题可能是近期兴起的小语言模型或 SLM 的诸多原因之一。 小语言模型本质上是 LLM 的更精简版本，就神经网络的大小和更简单的架构而言。 总之，小语言模型的出现标志着一种潜在的转变，即从昂贵且资源密集的 LLM 向更简化和高效的语言模型转变，可以说这使更多企业和组织采用并定制生成式 AI 技术来满足其特定需求变得更容易。 随着语言模型发展得更加通用和强大，选择“小”似乎是最好的方式。
39210编辑于 2024-03-28 - 来自专栏AI掘金志
大模型+小模型，AI 产品的新沸点
“2小时训练出的算法模型，能对抗「碎片化」的AIoT吗？” 作者 | 辛夷 编辑 | 余快 大模型，带来了AI 2.0，也带来了无限可能。 大模型+小模型，未来之声 软件开发是人类历史上最复杂的脑力协作。 这是软件工程领域的一个共识。 而大模型这个“超级队员”的到来，将创造新的模型研发范式。 首先，是开发方式的改革。 大模型“海纳百川”的魅力纵然令人着迷，但大模型就像是雷神之锤，如果没有适合它的钉子，就难以发挥被期许的价值。 短期看，大模型转化成生产力，还有一段距离。 短期内，大小模型将以“组合拳”形式存在，大小模型各司其职，云边协同发展，实现落地应用。 一方面，通用大模型可以通过预训练+微调，产生行业专用大模型。 另一方面大模型通过蒸馏、量化等方式，变成边侧易部署&升级的“小模型”，满足客户追求性价比的需求。
78810编辑于 2023-10-25 - 来自专栏chatgpt小智AI
chatgpt语言模型|小智ai
ChatGPT丨小智ai丨chatgpt丨人工智能丨OpenAI丨聊天机器人丨AI语音助手丨GPT-3.5丨开源AI平台简介： ChatGPT是一种智能语言模型，它使用先进的人工智能技术，能够进行自然语言的交互式对话 正文： ChatGPT的工作原理： ChatGPT基于生成式模型，它由一个庞大的神经网络组成，能够根据输入的文本生成相应的回复。 通过深度学习算法，模型可以从这些数据中学习到语法、语义和上下文的相关信息，从而能够产生准确、连贯的回复。应用场景： ChatGPT在多个领域都有广泛的应用。 结论： ChatGPT作为一种智能语言模型，代表了人工智能技术在人机对话领域的重要进展。它的出现为人机交互带来了更大的便利和效率，并且在多个领域展现出巨大的潜力。
47020编辑于 2023-05-12 - 来自专栏前端javascript
大模型+图片生成+小程序
⭐ 背景 大家好，我是yma16，这篇文章给大家分享大模型+图片生成的功能，完全免费。由于前两天我参加了掘金coze的一个线下活动，获得了一个内部调用api的机会，于是我就接入了小程序。 实现的效果 小程序地址，点击图片跳转 提示词：宫崎骏风格的天空 提示词：画一只老虎 提示词：一个写代码的女孩 实现的逻辑 在coze编排一个作画的工作流 工作流配置 发布勾选api node_koa ctx.body = { code: 0, msg: r } } }); module.exports = router; 小程序对话实现
93611编辑于 2024-04-10 - 来自专栏AI科技大本营的专栏
中文预训练ALBERT模型来了：小模型登顶GLUE，Base版模型小10倍、速度快1倍
海量中文语料上预训练ALBERT模型：参数更少，效果更好。预训练小模型也能拿下13项NLP任务，ALBERT三大改造登顶GLUE基准。 LCQMC的测试集上相比bert_base上升0.2个点 2、albert_base_zh(小模型体验版)， 参数量12M，层数12，大小为40M 参数量为bert_base的十分之一，模型大小也十分之一 ALBERT模型介绍 Introduction of ALBERT ALBERT模型是BERT的改进版，与最近其他State of the art的模型不同的是，这次是预训练小模型，效果更好、参数更少 最大的模型，训练了1百万步后，还是没有过拟合训练数据。 其他型号的模型，在我们的实现中我们还是会保留原始的dropout的比例，防止模型对训练数据的过拟合。
4K00发布于 2019-10-10 - 来自专栏机器之心
超越GPT 3.5的小模型来了！
然而，根据已有观察，小模型往往比大模型更能频繁地胡编乱造，模型的这种行为通常被称为「幻觉（hallucination）」。 此外，本文利用 DETR 模型生成视觉特征。 为了完成所有这些，作者选择了 T5 模型，它具有编码器 - 解码器架构，并且如上所述，DETR 模型用于生成视觉特征。 结果 作者使用 UnifiedQA 模型的权重作为 T5 模型的初始化点，并在 ScienceQA 数据集上对其进行微调。 作者展示了利用视觉特征，即使是小型语言模型（LM）也可以产生有意义的思维链 / 推理，而幻觉要少得多，这揭示了视觉模型在发展基于思维链的学习技术中可以发挥的作用。
48710编辑于 2023-02-23 - 来自专栏DeepHub IMBA
优化Pytorch模型训练的小技巧
对于那些在严格的约束下训练模型的人来说，这有时会导致他们的模型占用过多的内存，迫使他们使用更小的模型和更小的批处理大小进行更慢的训练过程。 所以在模型中以16位精度存储所有变量/数字可以改善并修复大部分这些问题，比如显著减少模型的内存消耗，加速训练循环，同时仍然保持模型的性能/精度。 在图中，691代表我的模型需要完成多少批，7:28代表我的模型在691批上的总时间，1.54 it/s代表我的模型在每批上花费的平均时间。 为了解决这个问题，你可以做几件事，包括把所有东西都转换成16位精度，减少模型的批处理大小，更换更小的模型等等。 但是有时切换到16位精度并不能完全解决问题。 16位精度减少内存消耗,梯度积累可以通过模拟使用更大的批大小,tqdm进度条和sklearns的classification_report两个方便的库,可以轻松地跟踪模型的训练和评估模型的性能。
2.1K20发布于 2021-03-29 - 来自专栏Datawhale专栏
提升Kaggle模型的实用小技巧！
如果你最近刚入手Kaggle，或者你是这个平台的老常客，你可能会想知道如何轻松提升模型的性能。 所以，无论是建立自己的模型，还是从一个基准的公共内核开始，都可以尝试实施这些建议！ ? 例如，获得类似问题的预处理的提示和技巧，人们如何选择他们的超参数，在他们的模型中实现了什么额外的工具来赢得比赛，或者如果他们只专注于囊括他们最好的模型的相似版本，或者是将所有可用公共内核整合在一起。 我个人的小技巧是：总是保存我运行过的每一个模型预测，并对所有模型进行平均（只是基本的平均，我从来没有发现任何证据表明，"聪明 "的集成，如按模型的单一性能加权，在最终得分中增加了什么）。 你的集成策略中的模型越多，你就越有可能在私人排行榜中稳操胜券。
68230发布于 2020-10-23 - 来自专栏AI大模型
Minimind - 人人都能训练的“小”模型
Minimind 是一个“小”语言模型，总共只有 2500 万个参数，最小版本体积只有 GPT-3 的七千分之一，作者称只需要3块钱+2小时就可以完成训练，项目地址为：https://github.com ，我们得到了两个模型，一个是预训练模型，一个是微调模型，都在 out 目录下：可以看到两个模型的大小一模一样，说明两个模型的结构应该是相同的。 Huggingface下载下来的模型（在 MiniMind2 目录）；model_mode 参数，用来指示加载哪个阶段的模型，0表示预训练模型，1表示微调模型，2表示RLHF模型等；首先是项目自带的评测 下面是它们的回答：和自动评测的结果差不多，微调模型“知道”自己在对话，而预训练模型的回答非常发散。 ，由于时间和成本问题，预训练模型和微调模型都只训练了一个 epoch，模型表现不是很给力，但是这不影响我们了解大模型的训练过程，后续我会进一步深入研究 Minimind 项目，包括复现其它的训练阶段，研究训练代码
3.2K22编辑于 2025-03-03 - 来自专栏自然语言处理(NLP)论文速递
2024属于小模型时代？TinyLlama 等小模型爆火：参数轻量级，性能重量级！
小身板，大能量。 当大家都在研究大模型（LLM）参数规模达到百亿甚至千亿级别的同时，小巧且兼具高性能的小模型开始受到研究者的关注。 小模型在边缘设备上有着广泛的应用，如智能手机、物联网设备和嵌入式系统，这些边缘设备通常具有有限的计算能力和存储空间，它们无法有效地运行大型语言模型。因此，深入探究小型模型显得尤为重要。 接下来我们要介绍的这两项研究，可能满足你对小模型的需求。 TinyLlama 模型架构详细信息如下所示： 训练细节如下： 研究者表示，这项研究旨在挖掘使用较大数据集训练较小模型的潜力。 小模型 LiteLlama 由于 TinyLlama 的发布，SLM（小型语言模型）开始引起广泛关注。德克萨斯工农大学的 Xiaotian Han 发布了 SLM-LiteLlama。
5.7K10编辑于 2024-01-11 - 来自专栏技术人生黄勇
大模型边际效应下降，小模型正在悄悄逆袭
引用大聪明老师的一句话，就是马上有一天，你可以在小天才手表上，跑 Nano Banana，哈哈哈。 所以今天，借着重读这篇文章，聊一聊端侧模型/小模型的一些想法。 我前面分享过0.6B 这种小模型能干啥？，主要表达了其实现在在很多场景中，小模型还是很有用的。 那么，我觉得让小模型拥有大智慧，是一个会大家进行更多研究的方向。 一方面是，LLM落地会考虑成本，使用越小的模型，成本会越低；另一方面，更大模型无法取得很大突破时，以小博大是很多人直观的想法。 而且在这两年，小模型的发展其实已经很快了，之前GPT3.5的效果，应该随随便便的7B模型就能达到，甚至还会更好。 然后就是我再思考一个问题， 小参数模型，学习更多的数据，真的能记住吗？ 比如现在有很多原生INT4、MXFP4、NVFP4训练，这些主要解决超大模型训练的问题，在小模型上应该也是奏效的，只不过，现在训练资源充足，小模型没必要这么去搞。 长文本在端侧，这其实是个悖论。
20810编辑于 2026-03-11 - 来自专栏Java Tale
大语言模型（AI）接入小爱音箱
家里闲置了一个小米 mini 音箱，打算接入大模型试试,,从“人工智障”秒变学霸。 反馈来源 小爱音箱 L06A [5, 1] [5, 2] - false @zhanglc 小爱音箱 Play L05B [5, 3] [5, 1] - false @BiuBiu2323 小米小爱音箱 小米小爱蓝牙音箱随身版 - 微信: 明天 型号分享 如果你是其他型号的小爱音箱，欢迎把你的型号和配置参数分享给大家，分享格式如下： 名称：小爱音箱 Pro 型号：LX06 ttsCommand：[ 申请大模型的API接口 注册silicon silicon注册和使用地址: https://cloud.siliconflow.cn/i/bp8xtUdh 邀请码：bp8xtUdh（谢谢支持） 新建API 密钥 注册登录后，单击左边栏的API密钥，单击新建API密钥 点击密钥即可复制 我们可以调用千问2.5的这个模型，满足日常对话完全没有问题，并且是免费调用的 mi-gpt项目 下载 mi-gpt
2.3K10编辑于 2024-10-24 - 来自专栏『学习与分享之旅』
微信小程序-双线程渲染模型
微信小程序双线程渲染模型 小程序的运行环境分成渲染层和逻辑层： WXML 模板和 WXSS 样式工作在渲染层，通过 WebView 进行渲染 小程序会为每一个界面都创建一个 WebView 来渲染这个页面 官方文档：https://developers.weixin.qq.com/miniprogram/dev/framework/quickstart/framework.html#渲染层和逻辑层 微信小程序双线程模型是如何执行的
60510编辑于 2023-05-18 - 来自专栏AIGC 先锋科技
WaveletGPT 小波与大型语言模型相遇 ！
本文的贡献如下： 作者提出了将小波引入大语言模型的第一实例。作者使用哈拉小波在Transformer解码器的每一个中间表示的中间滤波器上添加多级滤波器。 3 Methodology 本文节将介绍将小波变换集成到基于 Transformer 的大语言模型中,同时保留因果假设的方法。 4 Experiments 在本节中，作者解释了如何将小波注入到大规模语言模型预训练中。作者从头训练了所有的模型，这需要大量的运算。 由于作者在使用小波变换修改中间嵌入时，没有添加任何参数，因此作者可以比较两个模型之间的性能提升程度和加速效果。 在未来的工作中，可以探索一些令人兴奋的方向，包括将更先进的小波和多分辨率信号处理理念集成到大型语言模型中。 如何观察模型对不同多级结构的变体的行为将是很有趣的。
54810编辑于 2024-10-11 - 来自专栏AI科技时讯
AI小知识-基于模型的聚类
类算法的分类——基于模型的聚类（model-based methods）
68230发布于 2019-08-15 - 来自专栏机器学习算法工程师
TensorFlow模拟简单线性模型小栗子
BLAS、cuBLAS、cuDNN等拓展包 TensorFlow框架 本文的标题和内容牵都涉及到 TensorFlow，仅仅是因为它是可以选用的工具之一，像Keras等等其他的框架都可以实现文章中想要的模型 从市面上的书籍和文章我们可以了解到TensorFlow 貌似是为深度学习而生的，好像不做些图像识别、机器人等深度学习项目就触不到TensorFlow，自己一直是这样固执的认为, 所以做模型的时候对TensorFlow 模拟线性模型 文中通过模拟产生数据，构造简单的线性模型，使用TensorFlow工具，利用梯度下降算法，估计模型系数，给出模拟的收敛效果；同时，我们使用著名的鸢尾花数据集来小试牛刀，so，let’s begin 实现一个小栗子 下面我们使用著名的鸢尾花数据集进行实例分析： 读取数据集 import pandas as pd iris = pd.read_csv('iris.csv') #查看数据 iris.head 结束语 一个使用Tensorflow应用于传统统计模型的小例子就这样告成了，欢迎指正。
80470发布于 2018-03-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号