- 综合排序
- 最热优先
- 最新优先
- 来自专栏R语言及实用科研软件
🧐 lme4 | 多层线性模型小彩蛋解答
2用到的包 rm(list = ls()) library(tidyverse) library(lme4) library(modelr) library(broom) library(ggsci) 4多层线性模型 4.1 建模 m1 <- lmer(salary ~ experience + (1 + experience | department), data = df) m1 broom.mixed ggtitle("Varying Intercept and Slopes Salary Prediction") + scale_color_npg() p1 5分组建立简单线性回归模型 Salary") + ggtitle("Varying Intercept and Slopes Salary Prediction") + scale_color_npg() p2 6比较两种模型
34720编辑于 2022-10-31 BERT小模型超越GPT-4的标注数据需求
预测性任务中BERT规模模型超越GPT-4所需的标注样本量大型语言模型（LLMs）提供了一种新的机器学习交互范式：上下文学习。这种方法明显优于依赖显式标注数据的各种生成任务（例如摘要、问答、释义）。 关键优势在于需要更少的数据，但在不同问题上，一个BERT规模的模型需要多少标注样本才能在准确性上击败GPT-4？ 答案可能令人惊讶：参数少于10亿的模型实际上在经典预测性NLP中表现很好，而上下文学习在许多问题形式上表现不佳——尤其是具有许多标签或需要结构化预测的任务。 通过大量实验：许多任务，多个模型，没有GPT-4结果，在所有任务上远低于任务特定模型。
26410编辑于 2025-09-09- 来自专栏自然语言处理(NLP)论文速递
小模型增强可超GPT-4？北航 && 人大 | 提出大模型ICL增强范式，模型越小收益越高！
另外，「现有的ICL技术在弱模型上的表现存在scaling law（缩放法则）的限制」，即弱模型很难超过强模型的表现，然而弱模型由于参数规模小易于部署易于微调，因此「如何提高小参数规模模型的性能是一个值得探索地问题 生成模板的出现是由于往往强模型总结的Grimoire技巧太长了，不一定对下游小模型适用，因此这里包括了全面版本的和精简版本的Girmoire两种。 「模型」 评测了GPT4-1106-preview，GPT3.5-Turbo，LLaMA2-70B，LLaMA2-13B，Baichuan2-7B，PHI-2 (2.7B)共计六个模型。 其中GPT4同时是作为其他模型的强模型，视其他模型均为弱模型。 GPT-4的表现。
54910编辑于 2024-01-18 - 来自专栏算法一只狗
GPT-4o mini发布，OpenAI正式加入小模型竞争领域
一早打开我的ChatGPT，发现更新了一个新的模型名叫gpt-4o mini而且原版的GPT-3.5已经不见了，官方称是为了能够让AI普及到更多普通人，所以推出了新的小模型GPT-4o mini。 惊讶的发现，GPT-4o mini竟然答对了，而GPT-4o没有回答出来。这说明这个新模型起码在推理上做了新的优化处理。 新的小模型有什么特点1.模型更加便宜，相应速度更快上下文长度比GPT-3.5要多，原来的GPT3.5只支持16k输入，但新的GPT-4o mini则支持128K上下文同时价格比GPT-3.5 Turbo 3.大模型性价比之王OpenAI表示GPT-4o mini是一款与其他小型AI模型相当的大型语言模型，具有速度、成本效益和智能方面的优势。 在速度、成本效益和智能方面全面碾压行业领先的小模型。LMSYS.org聊天机器人竞技场的预发布测试验证了这些优势。
42010编辑于 2024-07-20 大模型、小模型、参数量
## 几个概念总参数量 = 词嵌入层参数 + 解码器层参数小模型 就是在参数量上显著小于LLM的模型所有参数 都放在 safttensors 模型文件 中预训练 就是为了 生成合理的 参数值后训练 也是为了 生成合理的 参数值蒸馏、微调、强化学习，都是后训练大模型变成小模型采用"蒸馏+量化+剪枝"的组合策略 一、大模型 GPT-3 参数量详解大模型的参数量是指神经网络中所有可训练权重和偏置的总数，这些参数决定了模型的学习能力和表达能力 三、大模型、小模型参数差距的本质大模型的参数量，本质上是用 dmodel2d_{model}^2dmodel2 的代价，换取高维语义空间的表达能力。 维度对比大模型 (LLM)小模型 (SLM)对参数量的影响隐藏层维度 (dmodeld_{model}dmodel)12288 (GPT-3/4)2048 (Phi-3) / 1024 (TinyLLaMA 所以，本篇理解小模型，下篇学习小模型建模或小模型训练。
54921编辑于 2026-01-04- 来自专栏帅云霓的技术小屋
大模型与AI底层技术揭秘 (4) 珠算小助手们的家
实际上，圆周率还有很多种算法，例如莱布尼茨提出的最容易记忆的： Pi = 4*((1) - (1/3) + (1/5) - (1/7) + (1/9) - (1/11) + (1/13) ...... ) 还有欧拉在解决巴塞尔问题中发现的： Pi = sqrt (6*(1+1/4+1/9+1/16+1/25+ ... )） （虽然欧拉对于这个结果的证明是错的，但比当时大数学家伯努利算不出来还是要强的 同样，如果给祖冲之1000个珠算小助手，祖冲之也没有办法把割圆术的算法分解成1000份给小助手们执行。 而在《大模型与AI底层技术揭秘 (2) 人妖之间的国度》中，我们提到的原子弹的Langevin方程，是一个可以充分发挥并行计算优势的算法，如果有了GPU，或一大批珠算小助手，就可以通过并行计算的方式来加速计算 聪明的小H看出，原来4080Ti和H100里面就是有一大批珠算小助手呀！ 是的，只是这些珠算小助手被称为“CUDA Core”。
54440编辑于 2023-10-08 - 来自专栏深度学习与python
腾讯混元开源 4 个小尺寸模型，主打 Agent 和长文
8 月 4 日，腾讯混元宣布开源四款小尺寸模型，参数分别为 0.5B、1.8B、4B、7B，消费级显卡即可运行，适用于笔记本电脑、手机、智能座舱、智能家居等低功耗场景，且支持垂直领域低成本微调。 新开源的 4 个模型属于融合推理模型，具备推理速度快、性价比高的特点，用户可根据使用场景灵活选择模型思考模式——快思考模式提供简洁、高效的输出；而慢思考涉及解决复杂问题，具备更全面的推理步骤。 应用层面，四款小尺寸模型都能够满足从端侧到云端、从通用到专业的多样化需求，并且已经在腾讯多个业务中应用，可用性和实用性经过了实践的检验，是真正实用的模型。 例如，依托模型原生的超长上下文能力，腾讯会议 AI 小助手、微信读书 AI 问书 AI 助手均实现对完整会议内容、整本书籍的一次性理解和处理。 在端侧应用上，腾讯手机管家利用小尺寸模型提升垃圾短信识别准确率，实现毫秒级拦截，隐私零上传；腾讯智能座舱助手通过双模型协作架构解决车载环境痛点，充分发挥模型低功耗、高效推理的特性。
96810编辑于 2025-08-09 - 来自专栏AI科技评论
国产端侧小模型超越 GPT-4V，「多模态」能力飞升
图注：OpenCompass 榜单变化显示，小参数、高性能模型逐渐成为 AI 技术趋势 据 AI 科技评论观察，国内的大模型团队在端侧上也发力迅猛。 以多模态能力为例，国外 OpenAI、谷歌，国内阿里、面壁智能等均在 20B 以内参数规模的小模型上有布局。 1、端侧小模型 SOTA 诞生？ 在综合评测权威平台 OpenCompass 上，面壁 MiniCPM-Llama3-V2.5 以小博大，以 8B 量级综合性能超越多模态巨无霸 GPT-4V 和 Gemini Pro，是目前端侧最强的模型 能同时兼顾「识别」与「推理」能力的多模态模型凤毛麟角，此次面壁发布的 8B 多模态小模型成为了其中之一。
1.4K10编辑于 2024-05-22 - 来自专栏数据STUDIO
Python 实用小技巧（4）
4、调整字符串中文本的格式 >>> import re >>> log = '2020-11-11' >>> re.sub('(\d{4})-(\d{2})-(\d{2})', r'\2/\3/\1', P<d>\d{4})-(?P<m>\d{2})-(?
54330发布于 2021-06-24 - 来自专栏机器之心
小模型如何比肩大模型，北理工发布明德大模型MindLLM，小模型潜力巨大
和CMMLU(4-shot)评估模型的中文能力。 (1) 数学 我们使用Arithmetic(5-shot)数据集评估模型的算数能力，使用GSM8K(4-shot)和MATH(4-shot)评估模型的通用数学能力。 领域应用 为了展示小模型在具体领域应用的效果，我们采用了在金融和法律两个公开数据集来做出验证。从结果中可以观察到，模型的参数大小对领域性能有一定影响，但表现并不明显。 MindLLM的性能在领域应用内超越了其它同等规模的模型，并且与更大的模型有可比性。进一步证明了小模型在领域应用落地有极大潜力。 金融领域 在该领域，对金融数据进行情绪感知分类任务。 同时，与更大规模的模型相比，它们能够以更快的训练速度和更少的训练资源取得相当的成绩。基于以上分析，我们认为小模型仍然具有极大的潜力。
1.6K20编辑于 2023-10-29 - 来自专栏Michael阿明学习之路
4. 训练模型
线性模型正则化 4. 早期停止法（Early Stopping） 本文为《机器学习实战：基于Scikit-Learn和TensorFlow》的读书笔记。 中文翻译参考 1. (100,1) y = 4+3*X+np.random.randn(100,1) plt.plot(X,y,"b.") plt.axis([0,2,0,15]) ? plt.ioff()# 关闭交互模式 plt.show() theta 求解过程动图请参看博文：matplotlib 绘制梯度下降求解过程 实际使用时，设置较大的迭代次数，和容差，当梯度向量变得非常小的时候 ，高偏差的模型最容易出现欠拟合 方差：模型对训练数据的微小变化较为敏感，多自由度的模型更容易有高的方差（如高阶多项式），会导致过拟合 不可约误差：数据噪声，可进行数据清洗 3. ElasticNet(alpha=0.1, l1_ratio=0.5) elastic_net.fit(X, y) elastic_net.predict([[1.5]]) # array([4.99822842]) 4.
59940发布于 2021-02-19 - 来自专栏喔家ArchiSelf
解读小模型——SLM
与大模型相比，SLM是一种简化的、高效的语言模型，参数数量减少，总体规模较小。SLM中的“小”表示与大型语言模型相比，参数数量和模型的总体大小都减少了。 虽然大模型可能有数十亿甚至数万亿个参数，但 SLM 通常只有几百万到几亿个参数。 然而，什么是“小”可以根据场景和语言建模的当前技术状态而变化。 随着近年来模型规模呈指数级增长，曾经被认为是大模型的东西现在可能被认为是小模型。GPT-2就是一个很好的例子。 2. 为什么参数的数量很重要？ 对于标准 FFN，它通常设置中间比率为4。这意味着中间层通常比隐藏层小四倍。另一方面，门限 FFN 在中间比值上表现出更大的分集性。它可以是从2到8的任何范围，表明中间层的大小在不同的模型之间变化。 词汇表的扩大使模型能够处理更广泛的语言，并提供更准确和更全面的响应。 4.
1.2K10编辑于 2024-12-02 - 来自专栏新智元
ChatGPTGPT-4Llama电车难题大PK！小模型道德感反而更高？
---- 新智元报道 编辑：Lumina 【新智元导读】微软对大语言模型的道德推理能力进行了测试，但在电车问题中大尺寸的模型表现反而比小模型差。 但最强大语言模型GPT-4的道德得分依旧是最高的。 「模型有道德推理能力吗？」 这个问题似乎应该跟模型生成的内容政策挂钩，毕竟我们常见的是「防止模型生成不道德的内容。」 图1：科尔伯格提出的幼儿发展的六个阶段 为了回答人们经常提出的关于从DIT得出科尔伯格阶段分数的问题，研究人员测量了六种著名模型：GPT-3、GPT-3.5、GPT-4、ChatGPTv1、ChatGPTv2 GPT-4是OpenAI的最新模型，它的道德发展水平要高得多，Pscore达到了53.62。 虽然LLaMachat-70b与GPT-3.x系列模型相比，该模型的体积要小得多，但它的Pscore却出乎意料地高于大多数模型，仅落后于GPT-4和较早版本的ChatGPT。
49630编辑于 2023-10-20 - 来自专栏CreateAMind
实现最小意识模型-4 自我模型和世界模型
3.2自我模型和世界模型 我们在这里归类的模型都有一个共同的想法，那就是，对于一个有意识的事物来说，这个事物必须能够塑造它自己和它的世界:换句话说，有意识就是成为那种参与情境自我塑造的事物。 因此，所提出的MUM可以被视为生成类似IWMT的模型的尝试，尽管该模型具有更少的理论假设集，专注于意识体验所必需的核心组件，并进一步描述如何从其他理论中找到趋同支持。 根据IWMT的观点，意识是一个整合世界模型的过程。 这些世界模型具有空间、时间和因果的一致性。 抽象地说，SOHMs也可以理解为多分辨率小波分析的一种形式，用于灵活地建模(从而能够管理)多尺度过程，例如代理和他们追求有价值目标的各种环境。
65130编辑于 2023-11-01 - 来自专栏小雨的CSDN
4. 软件测试 —— 测试模型（V模型 W模型）
【软件开发的周期：、需求分析、设计、实现、测试、安装部署、运行维护】 【软件测试的周期：、需求分析，测试计划，测试设计/测试开发，测试执行，测试评估】 软件测试v模型 （v模型是瀑布模型的变种） 优点：后期的测试阶段和前期的阶段可以一一对应起来，清楚的标注每一个测试阶段的依据 缺点：不利于项目前期风险的及时发现 软件测试W模型（双V模型） 特点:测试在项目前期介入，对需求，系统设计等都会进行验证
1.8K30编辑于 2022-10-26 - 来自专栏JusterZhu
极客说｜微软 Phi 系列小模型和多模态小模型
在这样的背景下，小模型（Small Language Models, SLMs）的研究就显得非常重要。小模型以其相对较小的规模和较低的计算算力需求，为资源有限的端侧设备环境提供了一种可行的解决方案。 微软在小模型方面也持续进行了很长时间的研究，推出了 Phi 系列模型，证明了即使在较小的模型规模下，也能够实现强大的语言理解能力，生成能力，和多模态理解能力。 Phi-3 系列 Phi3 系列有三个不同量级的小模型，分别叫做 Phi-3 mini, Phi-3 small 和 Phi-3 medium。 图6 和图7 的下面是通过 Phi-3-vision 模型得到的回答的结果，分别给出了公共机车司机没有系安全带，和小轿车司机系了安全带的正确回答。 Figure 4. PC 上用 Phi-3-visio 进行轿车司机是否系安全带的图像问答测试 Phi-3.5 系列 Phi-3.5 系列小模型是最新一代的 Phi 系列小模型，该系列包括了 Phi-3.5-mini、Phi
66400编辑于 2025-01-23 - 来自专栏量子位
GPT-4现场被端侧小模型“暴打”，商汤日日新5.0：全面对标GPT-4 Turbo
而且二者还是不在一个“重量级”的那种： 绿人：由GPT-4操纵 红人：由一个端侧小模型操纵 那么这位又小又彪悍的选手到底什么来头？ 单是在《街头霸王》里的表现，这个小模型就颇有一种“天下武功，唯快不破”的气势： GPT-4还在想着怎么决策，SenseChat Lite的拳头就已经打上去了。 并且直接将其定位到了一个新高度： 全面对标GPT-4 Turbo！ 那么日日新大模型5.0版本实力到底如何，我们这就来实测一波~ 有请，“弱智吧”！ 自然语言：高考《红楼梦》 除了逻辑推理能力之外，在自然语言生成方面，我们可以直接用2022年高考作文题目，来对比看下GPT-4和商量大模型5.0。 GPT-4 Turbo。
34110编辑于 2024-04-26 - 来自专栏喵叔's 专栏
浅谈C4模型
C4模型（C4 Model）是一种用于描述软件系统架构的轻量级模型，其目标是通过简化、清晰和易于理解的方式来表达系统的不同层次的架构信息。 C4模型的作者是Simon Brown，他在其著作《Software Architecture for Developers》中首次提出了这一模型。 下面是C4模型的四个层次的简要说明： 上下文层次（Context）： 这是系统的最高层次，描述了系统与外部实体（例如用户、其他系统、硬件设备等）之间的关系。 在使用C4模型时，可以按照以下步骤进行： 绘制上下文图： 理解系统与外部实体之间的关系，标识系统的上下文，绘制上下文图。 C4模型的优势在于能够以层次化和结构化的方式呈现系统架构，使得开发人员、架构师和其他利益相关者能够更容易地理解和交流系统设计。
1.6K10编辑于 2023-12-29 - 来自专栏云云众生s
小语言模型的崛起
众所周知的 LLM 包括 OpenAI 的 GPT-4 等专有模型，以及 Meta 的 LLaMA 等日益增多的开源竞争对手。 但是，尽管它们有相当强大的能力，但 LLM 仍然存在一些显著的缺点。 小语言模型与 LLM 的比较 这些问题可能是近期兴起的小语言模型或 SLM 的诸多原因之一。 小语言模型本质上是 LLM 的更精简版本，就神经网络的大小和更简单的架构而言。 总之，小语言模型的出现标志着一种潜在的转变，即从昂贵且资源密集的 LLM 向更简化和高效的语言模型转变，可以说这使更多企业和组织采用并定制生成式 AI 技术来满足其特定需求变得更容易。 随着语言模型发展得更加通用和强大，选择“小”似乎是最好的方式。
39810编辑于 2024-03-28 - 来自专栏AI掘金志
大模型+小模型，AI 产品的新沸点
近日，旷视推出了魔方B4T系列产品。如果说“算法定义硬件”是旷视的解题思路，那么“魔方B4T系列”就是旷视阶段性的答案。 作为一个拥有十多年积累的AI玩家，“算法定义硬件”到底能不能行得通？ 魔方B4T系列就是这样一套解决方案，它是旷视基于“算法定义硬件”理念而打造的一款简单、易用的产品方案，集旷视AIS算法生产平台、边缘计算智能分析盒、算法训练服务于一体。 魔方B4T的零代码、高精度开发方式，将算法训练过程从12步简化为仅5步，无需编写任何代码，使非技术人员也能轻松上手。目前，AIS平台已经能够支持100多种业务模型训练，最快2小时即可完成。 魔方B4T已经在促进千行万业加速奔向数字化的路上。 大模型+小模型，未来之声 软件开发是人类历史上最复杂的脑力协作。 这是软件工程领域的一个共识。 另一方面大模型通过蒸馏、量化等方式，变成边侧易部署&升级的“小模型”，满足客户追求性价比的需求。
80310编辑于 2023-10-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号