- 综合排序
- 最热优先
- 最新优先
- 来自专栏我爱计算机视觉
MoE-LLaVA——将多模态大模型稀疏化
通常来说，稠密模型的LVLM到此就训练完成，然而我们在发现同时将LLM转为LVLM和把模型稀疏化是具有挑战的。 因此，MoE-LLaVA将使用第二阶段的权重作为第三阶段的初始化以降低稀疏模型学习的难度。 阶段3：作为初始化，我们将FFN复制多份作为专家集合的初始化权重。 这些结果都展示了，MoE-LLaVA，这一稀疏模型可以用更少的激活参数达到和稠密模型相当甚至超过的性能。 然而随着模型逐渐被稀疏化，第17到27层的专家的负载突然增大，甚至几乎包揽了所有tokens。对于浅层的5-11层，主要是由专家2，3，4共同协作。 这些结果能够更好的帮助我们理解稀疏模型在多模态学习上的行为并探索未知的可能。 图8 激活通路可视化
99510编辑于 2024-02-06 - 来自专栏翻译scikit-learn Cookbook
Using sparsity to regularize models使用稀疏性来正则化模型
最小化压缩和选择因子LASSO方法很像岭回归和最小角回归LARS。在理解上与岭回归很相似，我们用特定的值来惩罚回归。它与LARS方法相似之处在于它可以被用于分类参数。它经常导致一个有稀疏向量的系数。 = 0) 10 lasso_0 = Lasso(0) lasso_0.fit(reg_data, reg_target) # 警告，未标准化数据 np.sum(lasso_0.coef_ ! 我们希望没有一个系数被调整为0，实际上，如果你使用这个方法，scikit-learn将给你一个警告，来建议你选择线性回归模型。 The equation looks like the following: 对于线性回归，我们最小化平方误差，这里，我们仍然进行最小化平方误差。 ： image.png An alternate way of looking at this is to minimize the residual sum of squares:可代替的方法是最小化残差平方和
65130发布于 2019-11-14 - 来自专栏AIWalker
北大等提出MoE-LLaVA：将多模态大模型稀疏化
通常来说，稠密模型的LVLM到此就训练完成，然而我们在发现同时将LLM转为LVLM和把模型稀疏化是具有挑战的。 因此，MoE-LLaVA将使用第二阶段的权重作为第三阶段的初始化以降低稀疏模型学习的难度。 阶段3：作为初始化，我们将FFN复制多份作为专家集合的初始化权重。 这些结果都展示了，MoE-LLaVA，这一稀疏模型可以用更少的激活参数达到和稠密模型相当甚至超过的性能。 然而随着模型逐渐被稀疏化，第17到27层的专家的负载突然增大，甚至几乎包揽了所有tokens。对于浅层的5-11层，主要是由专家2，3，4共同协作。 这些结果能够更好的帮助我们理解稀疏模型在多模态学习上的行为并探索未知的可能。 图8 激活通路可视化
84010编辑于 2024-02-17 - 来自专栏大模型应用
大模型应用：不减性能只减负担：大模型稀疏化技术全景与实践.36
三者可协同使用，但稀疏化的独特价值在于：无需改变模型核心架构，就能从计算源头降低开销，是大模型适配多场景的通用钥匙。三、稀疏化的实现逻辑1. 稀疏化的核心技术1.1 剪枝技术：给模型做减法核心逻辑：识别并移除对模型性能影响极小的权重或模块。 稀疏化的关键技术指标稀疏度：主要关注被裁剪或休眠的参数占比，一般在50%-90%的范围内，主要影响隐私包括模型类型、任务场景，端侧需更高稀疏度精度损失：主要关注稀疏化后与原模型的性能差，一般要≤1%，影响因素包括剪枝比例 示例：参数稀疏化文本生成模型选择轻量级稠密模型（DistilGPT2），通过结构化剪枝（移除冗余通道）+ 4bit 量化实现参数稀疏，在纯 CPU 环境下完成文本生成，对比稀疏化前后的内存占用与推理速度 2.5GB，节省52%）")输出结果： === CPU稀疏化模型运行结果 === 输入Prompt：大模型稀疏化的核心价值是 生成文本：大模型稀疏化的核心价值是在不显著损失模型性能的前提下，大幅降低计算资源消耗和内存占用
13610编辑于 2026-03-05 - 来自专栏Deep Learning in Ads
基于Field的DeepFM稀疏化实现
W&D模型的wide部分是广义线性模型，DeepFM的wide部分则是FM模型，两者的deep部分都是深度神经网络。 DeepFM的原始特征是非常稀疏的，所以代码实现需要考虑特征的稀疏化运算； 2. 生产环境中，每一个Field的输入可能是多值，有的实现中，将每一个one-hot特征都看作一个独立的field，这样虽然简单实现DeepFM模型，但是会造成模型的参数爆炸，训练效率和inference效率低下 二、 基于Field的DeepFM稀疏化实现 2.2 网络结构图 1522671691_78_w708_h433.png 如图所示，每一种颜色代表不同Field的特征，我们假设输入是稀疏的维度为 代码地址：https://github.com/ck8275411/deep_rec 2.2 Field-Avg-Pooling原理 Field-Avg-Pooling最麻烦的地方在于：如何在稀疏化的样本
2.6K80发布于 2018-06-15 - 来自专栏量子位
不用GPU，稀疏化也能加速你的YOLOv3深度学习模型
最近，创业公司Neural Magic带来了一种名叫新的稀疏化方法，可以帮你解决烦恼，让你的深度学习模型效率“一节更比七节强”！ ? Neural Magic是专门研究深度学习的稀疏方法的公司，这次他们发布了教程：用recipe稀疏化YOLOv3。 听起来有点意思啊，让我们来看看是怎么实现的~ 稀疏化的YOLOv3 稀疏化的YOLOv3使用剪枝（prune）和量化（quantize）等算法，可以删除神经网络中的冗余信息。 这样就可以建立高度精确的pruned或pruned quantized的YOLOv3模型，从而简化流程。 那这种稀疏化方法的灵感来源是什么呢？ 看来，有了以上强大的YOLOv3 模型工具和教程，用户就可以在CPU上，以最小化的占用空间和GPU的速度来运行深度学习模型。 这样有用的教程，你还在等什么？
90720发布于 2021-06-17 - 来自专栏新智元
单GPU就能压缩模型，性能不变参数少25%！微软提出模型稀疏化新方法
新智元报道 编辑：拉燕 【新智元导读】大语言模型之大，成本之高，让模型的稀疏化变得至关重要。 众所周知，对于大语言模型来说，规模越大，所需的算力越大，自然占用的资源也就越多。 研究人员于是乎把目光转到了这片领域，即模型的稀疏化（Sparsification）。 今天要介绍的SliceGPT，则可以实现模型的事后稀疏。也就是说，在一个模型训练完了以后再进行稀疏化操作。 该模型由微软研究院和苏黎世联邦理工学院联合发表在了arXiv上。 目前主流的稀疏化技术面临着挺多挑战和困难。比方说，需要额外的数据结构，而且在当下的硬件条件下，速度有限。 结果就是，形成了稀疏模式，意味着在神经网络前向传递所需的矩阵乘法中，可以跳过一些浮点运算。运算速度的相对提升取决于稀疏程度和稀疏模式。 下图算式的最小化的线性映射是QD。 从这个意义上说，重构L(2)是最佳的。
44210编辑于 2024-02-26 - 来自专栏图像处理与模式识别研究所
可视化稀疏模式，对称重新排序等三种模型的实现。
1、点击[命令行窗口] 2、按<Enter>键 3、点击[命令行窗口] 4、按<Enter>键 5、点击[命令行窗口] 6、按<Enter>键 7、点击[命令行窗口] 8、按<Enter>键 9、点击[命令行窗口] 10、按<Enter>键 11、点击[命令行窗口] 12、按<Enter>键
26620编辑于 2022-05-28 - 来自专栏活动
稀疏化训练：DeepSeek万亿参数管理秘籍
核心技术解析稀疏化训练是一种通过引入稀疏性来减少模型参数数量和计算复杂度的技术。其发展经历了多个阶段，从最初的简单剪枝方法到如今的复杂稀疏化策略。 然而，随着模型规模的不断扩大和应用场景的日益复杂，稀疏化训练技术也在不断演进，逐渐形成了包括结构化稀疏化、动态稀疏化等多种方法在内的完整体系。 通过稀疏化训练，可以将模型中的部分参数设置为零，从而减少计算量和存储需求。例如，使用稀疏化训练技术对ResNet模型进行优化，在不降低分类准确率的前提下，成功地将模型参数减少了30%以上。 稀疏化训练过程在稀疏化训练中，需要引入稀疏性约束或正则化项，以促使模型参数向零靠近。 模型评估与保存在稀疏化训练完成后，需要对模型进行评估，并保存训练好的模型以便后续使用。
64520编辑于 2025-03-21 - 来自专栏深度学习思考者
模型部署系列：10x速度提升，Yolov8检测模型稀疏化——CPU上超500FPS
有关 DeepSparse 如何通过稀疏性实现加速的详细指南，请查看 YOLOv5 with Neural Magic’s DeepSparse。 DeepSparse 是一个推理运行时，专注于让 YOLOv8 等深度学习模型在 CPU 上快速运行。DeepSparse 通过推理优化的稀疏模型实现了最佳性能，它还可以有效地运行标准的现成模型。 让我们将标准 YOLOv8 模型导出到 ONNX 并在 CPU 上运行一些基准测试。 通过我们的 One-Shot 优化方法（将在即将推出的 Sparsify 产品中提供），我们生成了 YOLOv8s 和 YOLOv8n ONNX 模型，这些模型已量化为 INT8，同时保持至少 99% 您可以在此处下载 量化模型。
4.7K10编辑于 2023-12-18 - 来自专栏机器之心
将多模态大模型稀疏化，3B模型MoE-LLaVA媲美LLaVA-1.5-7B
MoE-Tuning 可以构建参数数量惊人但计算成本恒定的稀疏模型，并有效解决通常与多模态学习和模型稀疏性相关的性能下降问题。 通常来说，稠密模型的 LVLM 到此就训练完成，然而研究团队发现同时将 LLM 转为 LVLM 和把模型稀疏化是具有挑战的。 因此，MoE-LLaVA 将使用第二阶段的权重作为第三阶段的初始化以降低稀疏模型学习的难度。 阶段 3：MoE-LLaVA 将 FFN 复制多份作为专家集合的初始化权重。 这些结果都展示了 MoE-LLaVA 这一稀疏模型可以用更少的激活参数达到和稠密模型相当甚至超过的性能。 然而随着模型逐渐被稀疏化，第 17 到 27 层的专家的负载突然增大，甚至几乎包揽了所有 token。对于浅层的 5-11 层，主要是由专家 2、3、4 共同协作。
40110编辑于 2024-02-06 - 来自专栏PaddlePaddle
一文带你读懂非结构化稀疏模型压缩和推理优化技术
减小模型体积和运算次数，也就是模型稀疏化策略。 从效果上看，结构化稀疏在较低稀疏度时，还能使模型获得一定的加速能力，但是在高稀疏度时往往会引入较大的精度损失；非结构化稀疏更能在高稀疏度时，可以达到几倍的推理加速，同时精度损失不大。 算法介绍 绝大多数模型压缩策略都是应用在一个训练好的模型上，通过 Fine-tune，最终在精度损失很小的情况下，达到压缩目的。非结构化稀疏需要在剪裁后的模型上，进行全量数据集的稀疏化训练过程。 GMP 算法对稀疏化模型的性能提升 稀疏化训练包含剪裁模型和 Fine-tune 训练等步骤，但是如何合理的剪裁模型，以保证训练精度呢？ 非结构化稀疏展望 综上，我们已经基本实现了从稀疏化模型训练到推理部署这样一个端到端的能力。
1.7K20编辑于 2021-12-08 - 来自专栏拓端tecdat
R语言拟合改进的稀疏广义加性模型（RGAM）预测、交叉验证、可视化
这是一种拟合稀疏广义加性模型（GAM）的新方法。RGAM具有计算可扩展性，并且适用于连续、二进制、计数和生存数据（点击文末“阅读原文”获取完整代码数据）。 R fit <- rgam 下面，我们使用不同的init_nz值拟合模型： RGAM算法第2步的自由度超参数可以通过df选项进行设置，默认值为4。 以下是使用不同超参数拟合RGAM模型的示例： R gamma = 0.6, df = 8 函数rgam()为一系列lambda值拟合RGAM模型，并返回一个rgam对象。 预测 可以通过使用predict方法获得此模型的预测结果：每列给出了一个lambda值的预测结果。 # 拟合二元模型 bin_y <-binomial", init_nz = c(), gamma = 0.9, verbose = FALSE) # 第10个模型的前5个观察值的线性预测值
53510编辑于 2023-11-30 - 来自专栏拓端tecdat
R语言lasso惩罚稀疏加法（相加）模型SPAM拟合非线性数据和可视化
p=33462 本文将关注R语言中的LASSO（Least Absolute Shrinkage and Selection Operator）惩罚稀疏加法模型（Sparse Additive Model 相关视频 通过本文，我们将展示如何帮助客户在R语言中使用LASSO惩罚稀疏加法模型（SPAM）来拟合非线性数据，并进行相应的可视化分析。 本文提供了一个代码来设置、拟合和可视化加法模型。 这个基本思想最早是由Ravikumar等人在2009年提出的，他们称之为SPAM，即稀疏加法模型。最初的提议涉及到组套索lasso惩罚，但grpreg的任何惩罚函数都可以代替。基本用法如下所示。 稀疏加法模型很好地捕捉到了这一点。 进行交叉验证（默认情况下会绘制出使交叉验证误差最小的拟合结果）： cvfit <- cv.grp plot_line 最后，这些工具还可用于生存模型和 glm 模型。
41920编辑于 2023-08-31 - 来自专栏拓端tecdat
R语言lasso惩罚稀疏加法（相加）模型SPAM拟合非线性数据和可视化
p=33462原文出处：拓端数据部落公众号本文将关注R语言中的LASSO（Least Absolute Shrinkage and Selection Operator）惩罚稀疏加法模型（Sparse 通过本文，我们将展示如何帮助客户在R语言中使用LASSO惩罚稀疏加法模型（SPAM）来拟合非线性数据，并进行相应的可视化分析。本文提供了一个代码来设置、拟合和可视化加法模型。 这个基本思想最早是由Ravikumar等人在2009年提出的，他们称之为SPAM，即稀疏加法模型。最初的提议涉及到组套索lasso惩罚，但grpreg的任何惩罚函数都可以代替。基本用法如下所示。 稀疏加法模型很好地捕捉到了这一点。进行交叉验证（默认情况下会绘制出使交叉验证误差最小的拟合结果）：cvfit <- cv.grpplot_line最后，这些工具还可用于生存模型和 glm 模型。 “网事”6.在r语言中使用GAM（广义相加模型）进行电力负荷时间序列分析7.用数据解读体育决策：挖掘体育赛事新价值8.把握出租车行驶的数据脉搏9.智能门锁“剁手”数据攻略
41710编辑于 2023-08-21 - 来自专栏LINUX阅码场
郭健： Linux内存模型——平坦、非连续与稀疏
本文的内容安排如下：为了能够清楚的解析内存模型，我们对一些基本的术语进行了描述，这在第二章。 第三章则对三种内存模型的工作原理进行阐述，最后一章是代码解析，代码来自4.4.6内核，对于体系结构相关的代码，我们采用ARM64进行分析。 二、和内存模型相关的术语 1、什么是page frame？ 这个替代过程正在进行中，4.4的内核仍然是有3中内存模型可以选择。 顺便一提的是，在开始的时候，sparse memory使用了一维的memory_section数组（不是指针数组），这样的实现对于特别稀疏（CONFIG_SPARSEMEM_EXTREME）的系统非常浪费内存 ，一个section的struct page数组所占用的内存来自directly mapped区域，页表在初始化的时候就建立好了，分配了page frame也就是分配了虚拟地址。
4.6K32发布于 2019-10-08 - 来自专栏MyTechnology
稀疏数组
稀疏数组 先看一个实际的需求 五子棋程序中，有存盘退出和续上盘的功能。 ? 分析问题: 因为该二维数组的很多值是默认值0, 因此记录了很多没有意义的数据.->稀疏数组。 1.1 稀疏数组介绍 当一个数组中大部分元素为０，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 将i存到稀疏数组[0][0]的位置 将j存到稀疏数组[0][1]的位置 将count存到稀疏数组[0][2]的位置 将各个有效值的行列存到稀疏数组下一行，例如[1][0]=行，[1][1]=列，[1][ 1.2 转换思路 二维数组转稀疏数组的思路： 遍历原始的二维数组，得到有效数据的个数sum 根据sum就可以创建稀疏数组sparseArr int[sum+1][3] 将二维数组的有效数据数据存入到稀疏数组 稀疏数组转原始的二维数组的思路： 1.先读取稀疏数组的第一行，根据第一行的数据，创建原始的二维数组，比如上面的chessArr2 =int[5][6] 2.在读取稀疏数组后几行的数据，并赋给原始的二维数组即可
59330发布于 2021-01-18 - 来自专栏生如夏花绚烂
稀疏数组
稀疏数组 当一个数组大部分为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组 稀疏数组的处理办法是： 1.记录数组一共有几行几列，有多少个不同的值 2.把具有不同值的元素的行列及值记录在一个小规模的数组 （稀疏数组 ）中，从而缩小程序的规模 如下例：将一个二维数组转换为稀疏数组 稀疏数组第一行保存的值是二维数组有多少行和列，有多少个不同的值。 13个有意义的值，那么原来的二维数组还是 7*6=42,而转换后稀疏数组则是 14*3=42,如果原来的二维数组有14、15、16、...个等有意义的值，那么稀疏数组的大小将会超过原先二维数组的大小，这里就得不偿失了 这里就得到两个结论： 二维数组的有效值越少，转换为对应的稀疏数组就越高效 稀疏数组适用于空数据较多的情况下 在使用稀疏数组之前一定要具体问题具体分析，不能一股脑的用！ 代码实现 还是以一个五子棋盘为例 为了对棋盘进行压缩，我们将原来的二维数组的方式转换为稀疏数组的方式 稀疏数组第一行存储的是原来二维数组的行和列以及有效的数据 第二行后存储的是每一个数据的位置和具体值
62920编辑于 2022-09-14 - 来自专栏学习笔记持续记录中...
稀疏数组
当一个数组中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 稀疏数组的处理方法是： 1）记录数组一共有几行几列，有多少个不同的值 2）把具体不同值的元素的行列及值记录在一个小规模的数组中，从而缩小程序的规模。 ? 二维数组转稀疏数组 public class SpareseArray { public static void main(String[] args) { /** d\t",data); } System.out.println(); } /** * 将二维数组转稀疏数组 创建稀疏数组，行数=sum+1 ，多出来的1行是对稀疏数组中总行数、总列数以及非0个总个数的 sparseArr[0][0] = chessArr1.length; sparseArr
49810发布于 2020-03-17 - 来自专栏Java架构师必看
稀疏数组
，2020.2 IDEA 激活码 一、稀疏数组的定义 ---- 稀疏（sparsearray）数组：可以看做是普通数组的压缩，但是这里说的普通数组是值无效数据量远大于有效数据量的数组。 当遇到此种情况时，可以使用稀疏数组。 ? 当一个数组中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 二、应用实例 ---- 我们将下图所示的棋盘使用稀疏数组进行存盘退出操作： ? 【1】将上面类似的二位数组棋盘保存到稀疏数组中，并存放至外部备份文件 sparsearray.text 中：稀疏数组可以简单的看作为是压缩，在开发中也会使用到。 比如将数据序列化到磁盘上，减少数据量，在 IO 传输过程中提高效率等等。
83630发布于 2021-04-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号