- 综合排序
- 最热优先
- 最新优先
大模型、小模型、参数量
## 几个概念总参数量 = 词嵌入层参数 + 解码器层参数小模型 就是在参数量上显著小于LLM的模型所有参数 都放在 safttensors 模型文件 中预训练 就是为了 生成合理的 参数值后训练 也是为了 生成合理的 参数值蒸馏、微调、强化学习，都是后训练大模型变成小模型采用"蒸馏+量化+剪枝"的组合策略 一、大模型 GPT-3 参数量详解大模型的参数量是指神经网络中所有可训练权重和偏置的总数，这些参数决定了模型的学习能力和表达能力 三、大模型、小模型参数差距的本质大模型的参数量，本质上是用 dmodel2d_{model}^2dmodel2 的代价，换取高维语义空间的表达能力。 词表大小5万~10万+3万~5万线性影响，占比不大。 四、为什么对小模型感兴趣以前，我们用Java+DB开发应用，用C+RTOS开发嵌入式软件。 所以，本篇理解小模型，下篇学习小模型建模或小模型训练。
54921编辑于 2026-01-04- 来自专栏机器之心
小模型如何比肩大模型，北理工发布明德大模型MindLLM，小模型潜力巨大
预训练细节如下： 预训练阶段评估 较小的模型可以击败更大的模型 为评估模型的中英文能力，我们使用MMLU(5-shot)和AGIEval(4-shot)评估模型英文能力，使用C-Eval(5-shot) (5-shot)，使用BBH评估模型综合推理能力(3-shot)。 领域应用 为了展示小模型在具体领域应用的效果，我们采用了在金融和法律两个公开数据集来做出验证。从结果中可以观察到，模型的参数大小对领域性能有一定影响，但表现并不明显。 MindLLM的性能在领域应用内超越了其它同等规模的模型，并且与更大的模型有可比性。进一步证明了小模型在领域应用落地有极大潜力。 金融领域 在该领域，对金融数据进行情绪感知分类任务。 同时，与更大规模的模型相比，它们能够以更快的训练速度和更少的训练资源取得相当的成绩。基于以上分析，我们认为小模型仍然具有极大的潜力。
1.6K20编辑于 2023-10-29 - 来自专栏喔家ArchiSelf
解读小模型——SLM
另一方面，人们也在创建更小的模型，称为小型语言模型（SLM），以便高效地部署在设备上，如台式机、智能手机和可穿戴设备。SLM并不是指传统的参数较少的模型，而是大模型的小型化版本。 与大模型相比，SLM是一种简化的、高效的语言模型，参数数量减少，总体规模较小。SLM中的“小”表示与大型语言模型相比，参数数量和模型的总体大小都减少了。 虽然大模型可能有数十亿甚至数万亿个参数，但 SLM 通常只有几百万到几亿个参数。 然而，什么是“小”可以根据场景和语言建模的当前技术状态而变化。 随着近年来模型规模呈指数级增长，曾经被认为是大模型的东西现在可能被认为是小模型。GPT-2就是一个很好的例子。 2. 为什么参数的数量很重要？ 这些架构创新令人兴奋，因为它们显著提高了小型语言模型的效率、性能和有效性，使它们在理解和生成类人文本方面更加强大和有能力。 5.
1.2K10编辑于 2024-12-02 - 来自专栏数据STUDIO
Python 实用小技巧（5）
5 2*5=10 3*5=15 4*5=20 5*5=25 1*6=6 2*6=12 3*6=18 4*6=24 5*6=30 6*6=36 1*7=7 2*7=14 3*7=21 4*7=28 5 ]] 全展开为[1,2,3,4,5]。 ]])) >>> print(flatten([[1,2,3],[4,5]], [6,7])) >>> print(flatten([[[1,2,3],[4,5,6]]])) # 结果: [1, 2 , 3, 4, 5, 6] [6, 7, 1, 2, 3, 4, 5] [1, 2, 3, 4, 5, 6] 另外，numpy 里的 flatten 与此有微妙不同，这里是 flatten 是递归版本 6]]] 展开的数组： [1 2 3 4 5 6] 以 F 风格顺序展开的数组： [1 4 2 5 3 6] 3、列表等分 from math import ceil def divide(lst,
84720发布于 2021-06-24 - 来自专栏JusterZhu
极客说｜微软 Phi 系列小模型和多模态小模型
在这样的背景下，小模型（Small Language Models, SLMs）的研究就显得非常重要。小模型以其相对较小的规模和较低的计算算力需求，为资源有限的端侧设备环境提供了一种可行的解决方案。 微软在小模型方面也持续进行了很长时间的研究，推出了 Phi 系列模型，证明了即使在较小的模型规模下，也能够实现强大的语言理解能力，生成能力，和多模态理解能力。 Phi-3 系列 Phi3 系列有三个不同量级的小模型，分别叫做 Phi-3 mini, Phi-3 small 和 Phi-3 medium。 PC 上用 Phi-3-visio 进行轿车司机是否系安全带的图像问答测试 Phi-3.5 系列 Phi-3.5 系列小模型是最新一代的 Phi 系列小模型，该系列包括了 Phi-3.5-mini、Phi _5-vision-instruct --use_flash_attn false 推理模型运行起来之后，如图8所示。
66400编辑于 2025-01-23 - 来自专栏OpenCV与AI深度学习
小模型也可以「分割一切」，Meta改进SAM，参数仅为原版5%
Meta四月份发布的「分割一切模型（SAM）」效果，它能很好地自动分割图像中的所有内容 Segment Anything 的关键特征是基于提示的视觉 Transformer（ViT）模型，该模型是在一个包含来自 为了评估该方法，研究者采用了掩码图像预训练的迁移学习设置，即首先在图像分辨率为 224 × 224 的 ImageNet 上使用重构损失对模型进行预训练，然后使用监督数据在目标任务上对模型进行微调。 研究者在目标检测、实例分割和语义分割上对预训练模型进行了微调。在所有这些任务中，本文方法都取得了比其他预训练基线更好的结果，更重要的是在小模型上获得了显著收益。 表 5 展示了零样本实例分割的 AP、APS、APM 和 APL。 图 3、4、5 提供了一些定性结果，以便读者对 EfficientSAMs 的实例分割能力有一个补充性了解。 更多研究细节，可参考原论文。 本文仅做学术分享，如有侵权，请联系删文。 —THE END—
1.2K10编辑于 2023-12-13 - 来自专栏Java核心技术
5个小技巧彻底搞懂JVM内存模型【针对3年以上Java开发】
本篇文章不适合初学者，由于篇幅有限，小编对应整理一份JVM性能调优实战400多页学习笔记，关注公种浩：麒麟改bug，分享给到大家，适合具有3年以上开发经验的技术人员，欢迎大家一起交流分享，文章若有不足之处 from=pc] 四 jvm内存模型 1.JVM内存模型是怎样的？ 如下为JVM内存模型架构图，由于在之前的文章中论述过，这里就不再一 一论述，主要讲解堆区。 from=pc] （4）分代收集算法 该算法为目前jvm算法，采用分代思想，模型如下： [68da0e8872b347b0b9ad637479b5e1c6? from=pc] 5.常见GC回收器有哪些？ 五 总结 深入分析了JVM内存模型，其中重点分析了jdk,jre和jvm关系，jvm类加载器，jvm堆内存划分，GC回收器和GC回收算法等，整体偏向于理论，由于篇幅有限，小编对应整理一份JVM性能调优实战
59100发布于 2021-01-18 - 来自专栏贾志刚-OpenCV学堂
小模型也可以「分割一切」，Meta改进SAM，参数仅为原版5%
Meta四月份发布的「分割一切模型（SAM）」效果，它能很好地自动分割图像中的所有内容 Segment Anything 的关键特征是基于提示的视觉 Transformer（ViT）模型，该模型是在一个包含来自 为了评估该方法，研究者采用了掩码图像预训练的迁移学习设置，即首先在图像分辨率为 224 × 224 的 ImageNet 上使用重构损失对模型进行预训练，然后使用监督数据在目标任务上对模型进行微调。 研究者在目标检测、实例分割和语义分割上对预训练模型进行了微调。在所有这些任务中，本文方法都取得了比其他预训练基线更好的结果，更重要的是在小模型上获得了显著收益。 表 5 展示了零样本实例分割的 AP、APS、APM 和 APL。 图 3、4、5 提供了一些定性结果，以便读者对 EfficientSAMs 的实例分割能力有一个补充性了解。 更多研究细节，可参考原论文。
1.2K10编辑于 2023-12-11 - 来自专栏云云众生s
小语言模型的崛起
随着语言模型不断进步，变得功能更多元、能力更强大，变“小”似乎是更佳的方向。 译自 The Rise of Small Language Models，作者 Kimberley Mok。 小语言模型与 LLM 的比较 这些问题可能是近期兴起的小语言模型或 SLM 的诸多原因之一。 小语言模型本质上是 LLM 的更精简版本，就神经网络的大小和更简单的架构而言。 总之，小语言模型的出现标志着一种潜在的转变，即从昂贵且资源密集的 LLM 向更简化和高效的语言模型转变，可以说这使更多企业和组织采用并定制生成式 AI 技术来满足其特定需求变得更容易。 随着语言模型发展得更加通用和强大，选择“小”似乎是最好的方式。
39810编辑于 2024-03-28 - 来自专栏毛利学Python
yolov5模型转换NCNN模型部署
写作原因：最近看了下nihui大佬的ncnn，练习着将yolov5训练的模型转换成ncnn模型并部署，同时借鉴了网上优秀的博文，记录一下，如有不对的地方，请多多指教。 说明：pytorch模型转换成onnx模型，及onnx模型简化和转ncnn模型在引用的文章中都有详细的说明，可移步至引用文章中查看。 图1 其实yolov5 v1-v5版本在训练完后，使用onnx2ncnn.exe将简化后的onnx模型转换成ncnn模型时主要出现这个问题。 V6版本在输出上和前5个版本有一点不同，这里针对1-5版本。 u版yolov5 将最后 Reshape 层把输出grid数写死了，导致检测小图时会出现检测框密密麻麻布满整个画面，或者根本检测不到东西。
3.1K20编辑于 2022-09-22 - 来自专栏个人路线
微信小程序开发准备【小程序专题5】
image-20211011104907780 前去邮箱验证 image-20211011105316899 申请完成以后，你会得到一个 AppID（小程序编号） 和 AppSecret（小程序密钥） image-20211011110638889 然后，下载微信提供的小程序开发工具。这个工具是必需的，因为只有它才能运行和调试小程序源码。 image-20211011110051532 点击右侧的+号，就跳出了新建小程序的页面。 如果直接新建小程序，会生成一个完整的项目脚手架。对于初学者来说，这样反而不利于掌握各个文件的作用。 如果想商用,想使用微信支付,取用户手机号等复杂功能,可以注册企业小程序,不过企业小程序必须有营业执照才可以注册 一个邮箱只能注册一个小程序 一个身份证可以注册5个，个人小程序 一个企业的营业执照可以注册 50个企业小程序
60410编辑于 2021-12-07 - 来自专栏AI掘金志
大模型+小模型，AI 产品的新沸点
魔方B4T的零代码、高精度开发方式，将算法训练过程从12步简化为仅5步，无需编写任何代码，使非技术人员也能轻松上手。目前，AIS平台已经能够支持100多种业务模型训练，最快2小时即可完成。 大模型+小模型，未来之声 软件开发是人类历史上最复杂的脑力协作。 这是软件工程领域的一个共识。 而大模型这个“超级队员”的到来，将创造新的模型研发范式。 首先，是开发方式的改革。 大模型“海纳百川”的魅力纵然令人着迷，但大模型就像是雷神之锤，如果没有适合它的钉子，就难以发挥被期许的价值。 短期看，大模型转化成生产力，还有一段距离。 短期内，大小模型将以“组合拳”形式存在，大小模型各司其职，云边协同发展，实现落地应用。 一方面，通用大模型可以通过预训练+微调，产生行业专用大模型。 另一方面大模型通过蒸馏、量化等方式，变成边侧易部署&升级的“小模型”，满足客户追求性价比的需求。
80310编辑于 2023-10-25 - 来自专栏知晓程序
小程序用起来耗流量吗？ | 小程序问答 #5
这里是「小程序问答」栏目的第 5 期 本周，你能用微信扫一扫骑走「摩拜单车」了，他们说这个功能是这样实现的。10 年资深产品经理如何看待小程序？这里有他的实战思考。 本期，我们解答了这些有关小程序的问题： 小程序到底会消耗多少流量（第 2 问）和电量（第 1 问）？ 启动请求权限的小程序会闪退，该怎么办？（第 3 问） 有没有调用摄像头的小程序？ 如果开发者什么也没有留的话，那我们也爱莫能助…… 开发者如何在小程序中增加用户反馈模块呢？可以看看本期小程序问答的第 9 问。 小程序推荐 5. 请问查亲戚间怎么称呼的小程序叫什么来着？ 往期小程序问答 小程序体验师有稿费吗/小程序如何接入微信支付/ 能看 PM 2.5 数据的小程序 | 小程序问答 #4 小程序真的只有 1 MB 吗？/注册小程序需要营业执照吗？ /小程序有什么 UI 框架？| 小程序问答 #3 遇到小程序的难题？
2K20发布于 2018-06-29 - 来自专栏chatgpt小智AI
chatgpt语言模型|小智ai
ChatGPT丨小智ai丨chatgpt丨人工智能丨OpenAI丨聊天机器人丨AI语音助手丨GPT-3.5丨开源AI平台简介： ChatGPT是一种智能语言模型，它使用先进的人工智能技术，能够进行自然语言的交互式对话 正文： ChatGPT的工作原理： ChatGPT基于生成式模型，它由一个庞大的神经网络组成，能够根据输入的文本生成相应的回复。 通过深度学习算法，模型可以从这些数据中学习到语法、语义和上下文的相关信息，从而能够产生准确、连贯的回复。应用场景： ChatGPT在多个领域都有广泛的应用。 结论： ChatGPT作为一种智能语言模型，代表了人工智能技术在人机对话领域的重要进展。它的出现为人机交互带来了更大的便利和效率，并且在多个领域展现出巨大的潜力。
47120编辑于 2023-05-12 - 来自专栏前端javascript
大模型+图片生成+小程序
⭐ 背景 大家好，我是yma16，这篇文章给大家分享大模型+图片生成的功能，完全免费。由于前两天我参加了掘金coze的一个线下活动，获得了一个内部调用api的机会，于是我就接入了小程序。 实现的效果 小程序地址，点击图片跳转 提示词：宫崎骏风格的天空 提示词：画一只老虎 提示词：一个写代码的女孩 实现的逻辑 在coze编排一个作画的工作流 工作流配置 发布勾选api node_koa ctx.body = { code: 0, msg: r } } }); module.exports = router; 小程序对话实现
96911编辑于 2024-04-10 - 来自专栏arXiv每日学术速递
即插即用 | 高效多尺度注意力模型成为YOLOv5改进的小帮手
管理模型复杂性的最有效方法之一是使用卷积和信道降维。与SE注意力相比，坐标注意力（CA）将特定方向的信息沿着空间维度方向嵌入到通道注意力中，并选择适当的通道维度缩减率，实现了可比的性能。 此外，并行网络（ParNet）构建了并行子网络，提高了特征提取的效率，同时保持了小深度和低延迟。 从上述注意力机制中可以看出，跨维度的相互作用有助于通道或空间注意力预测。 在下文中，输入特征可以对全局特征信息进行编码，并帮助模型分别沿着两个空间方向捕获全局信息，这两个方向在没有卷积的情况下。 1x1卷积核使模型能够捕捉局部跨通道交互，并与通道卷积共享相似性。
6.2K30编辑于 2023-08-26 - 来自专栏往期博文
【目标检测】YOLOv5针对小目标检测的改进模型添加帧率检测
问题背景 众所周知，YOLOv5会对输入的图片进行放缩，并进行32倍下采样。对于一些分辨率很高的遥感/无人机图片，小目标难以被训练识别。 本篇博文就来尝试这篇博文YOLOV5 模型和代码修改——针对小目标识别所提到的一种改进方案。 我所使用的是YOLOv5-5.0版本，数据集采用VisDrone数据集。 检测头改进 模型方面的修改：作者在模型上增加了一个更小的Anchor并添加了一个更小的检测头。 Detect, [nc, anchors]], # Detect(p2, P3, P4, P5) ] 模型方面的改进有点类似于TPH-YOLOv5。 效果检测 为了检测这样做是否有效，我使用改进前的YOLOv5l模型和改进后的YOLOv5l模型对VisDrone数据集训练100个epoch，并挑选了VisDrone测试集中的两张角度较高的图片进行检测
3.1K21编辑于 2022-11-30 - 来自专栏掘金安东尼
5 个 JavaScript 写法小技巧分享
JavaScript 易上手，但是难以全面掌握；它有许多“怪癖”，只有在长时间的使用它，才能逐渐揭开它神秘的面纱~
44810编辑于 2022-09-19 - 来自专栏Lan小站
Week5 情话网小爬虫
']/div[@class='bodyMain']/div[@class='bodyMainBody']/div[@class='infoList']/ul[@class='infoListUL mt5'
50020编辑于 2022-07-13 - 来自专栏IMWeb前端团队
HTML5设备定向小实践
简介 HTML5的Device API中提供了几个DOM事件，可以获得设备的物理方向及运动的信息，API提供的数据不是来源于原始的传感器信息，而是来源于设备上的陀螺仪、加速计以及指南针等。
1.5K60发布于 2017-12-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号