- 综合排序
- 最热优先
- 最新优先
- 来自专栏CreateAMind
大语言模型的可扩展贝叶斯低秩适配
在本研究中，我们提出了基于随机变分子空间推理的可扩展贝叶斯低秩适应方法（ScalaBL）。我们在一个r维子空间中进行贝叶斯推理（r为LoRA的秩）。 在本研究中，我们提出了基于随机变分子空间推理的可扩展贝叶斯低秩适应方法（ScalaBL）。 2.1 低秩适应（Low-Rank Adaptation） 2.2 拉普拉斯LoRA Yang 等人 [2024a] 的工作是将不确定性量化技术应用于 LoRA 层的首个研究实例，其方法是对低秩参数应用拉普拉斯近似 即将 A重新视为一个低秩高斯分布的均值，记为 Aμ，并学习一组方差参数 Aσ。 6 结论 在本研究中，我们提出了基于随机变分子空间推理的可扩展贝叶斯低秩适应方法（ScalaBL）。
12710编辑于 2026-03-11 - 来自专栏时空探索之旅
AI论文速读 | ST-LoRA：低秩适配的时空预测
具体来说，首先定制一个包含多个可训练低秩矩阵的节点自适配低秩层。此外，设计了一个多层残差融合堆叠模块，将低秩适配器注入到各种模型的预测器模块中。 论文的核心思想是通过引入节点自适配的低秩层（Node Adaptive Low-rank Layer, NALL）和多层残差融合模块，来有效地将低秩适配器注入到不同模型的预测器模块中，从而提高模型对不同节点异质性的适配能力 (b) 低秩适配器块的计算过程，(c) 使用低秩矩阵计算节点级权重调整 A: 论文通过提出一个名为ST-LoRA（低秩适配）的框架来解决时空预测中节点异质性的问题。 方法论: 提出了节点自适配低秩层（NALL），通过在每个节点上添加可训练的低秩矩阵来调整原始参数权重，以捕捉节点的异质性。 设计了多层残差融合模块，将低秩适配器注入到不同模型的预测器模块中，以提高模型对节点异质性的适配能力。
51710编辑于 2024-11-19 - 来自专栏具身小站
大模型微调概述 - LoRA（低秩适应）
尽管预训练模型本身是高维复杂的，但针对特定任务的适应性调整往往是低维的。例如，模型原本已经学会了通用语法和知识，要适应某个特定领域的对话，只需要在几个关键方向上微调即可，这些方向就对应着低秩子空间。 前向传播：对于原始权重 W0 的输入 x，输出计算变为： 其中 α 是一个缩放超参数，用于控制低秩分支的影响强度。 推理阶段：LoRA 提供两种推理方式： 合并式：将训练好的低秩矩阵合并回原始权重：。然后直接使用合并后的权重进行推理，没有额外的计算开销。 分离式：保留原始权重和低秩分支，在前向时分别计算后相加。 可插拔性强：训练好的 LoRA 模块（通常仅几 MB 到几十 MB）可以轻松保存、分享和加载，且可以针对不同任务训练多个 LoRA 模块，在推理时按需切换，实现“一基座多适配”。 4 一些注意事项与变体 秩 r 的选择：r 是超参数，控制着低秩空间的表达能力。通常 r 越小，参数量越少，但可能不足以捕获任务的复杂适应；r 越大，效果可能更接近全量微调，但参数量增加。
69320编辑于 2026-03-09 - 来自专栏拓端tecdat
JupyterLab实现医疗推理数据集Llama4Scout的4-bit量化、LoRA低秩适配、SFT有监督微调|轻量化适配
LoRA低秩适配配置与SFT有监督微调为了实现大模型的高效、低成本微调，本次项目采用LoRA（低秩适配）技术，该技术是大模型垂直领域适配的主流技术，核心原理是冻结基础模型的绝大部分参数，仅训练少量新增的低秩矩阵参数 LoRA低秩适配核心参数配置from peft import LoraConfig, get_peft_model# 配置LoRA低秩适配训练参数，修改所有变量名lora_config = LoraConfig ( lora_alpha=16, # LoRA缩放因子，平衡低秩矩阵贡献 lora_dropout=0.05, # Dropout概率，防止模型训练过拟合 r=64, # 低秩矩阵的秩，控制训练参数数量 ：针对医疗推理场景设计专属的Prompt工程，结合医疗专业数据集开展SFT有监督微调，让通用大模型快速具备垂直领域的专业推理能力，大幅提升模型的行业适配性；模型训练效率低问题：采用LoRA低秩适配技术， 总结本文基于实际的客户咨询项目，详细拆解了如何通过云GPU平台实现Llama 4 Scout大模型的低成本、轻量化微调，通过4-bit量化、LoRA低秩适配、多GPU分布式训练等技术优化，将原本需要4张高端
13510编辑于 2026-02-10 - 来自专栏DeepHub IMBA
LoRA:大模型的低秩自适应微调模型
所以Microsoft 提出了低秩自适应(Low-Rank Adaptation, LoRA)，它冻结了预先训练好的模型权重，并将可训练的秩的分解矩阵注入到Transformer体系结构的每一层，从而大大减少了下游任务的可训练参数数量 LoRA 对于预训练的权重矩阵W0，可以让其更新受到用低秩分解表示后者的约束: 在训练过程中，W0被冻结，不接受梯度更新，而A和B包含可训练参数。 但是使用Lora，批处理大小为2的单进程训练可以在单个12GB GPU上完成(不使用xformer的10GB，使用xformer的6GB)。 所以Lora在图像生成领域也是非常好的一个微调模型的方式。
99720编辑于 2023-08-28 - 来自专栏计算机技术-参与活动
python中权重剪枝，低秩分解，量化技术 代码
同时，文章还讨论了数据传输中的安全性问题，提出了不依赖加密算法的数据传输安全方案目录python中权重剪枝，低秩分解，量化技术 代码权重剪枝低秩分解scipy量化技术python中权重剪枝，低秩分解， prune.l1_unstructured(model.conv1, name='weight', amount=0.2)# 微调剪枝后的模型# 这里省略了微调的代码实现，但通常包括继续训练模型以恢复性能低秩分解低秩分解可以通过将权重矩阵分解为两个低秩矩阵的乘积来实现 以下是一个使用PyTorch实现低秩分解的简单例子：scipy在Python中，可以使用scipy库中的svd函数来实现奇异值分解（Singular Value Decomposition, SVD）。 math.sqrt(5)) def forward(self, x): return torch.matmul(torch.matmul(x, self.A), self.B)# 使用低秩分解替换全连接层 # 假设原始权重矩阵为W，现在将其替换为两个低秩矩阵的乘积rank = 10 # 假设我们希望分解后的秩为10low_rank_layer = LowRankDecomposition(in_features
28811编辑于 2024-12-04 - 来自专栏人工智能与演化计算成长与进阶
16推荐系统5-6协同过滤算法低秩矩阵分解均值归一化
参考资料 斯坦福大学 2014 机器学习教程中文笔记 by 黄海广 16.5 向量化：低秩矩阵分解 Vectorization_ Low Rank Matrix Factorization 示例 当给出一件产品时 低秩矩阵分解 你也可以将电影的特征按照样本的顺序 1,2,3... 按行排列成矩阵 X，将用户的特征按照用户的顺序 1,2,3... 按行排列成矩阵 按照 公式进行计算，也可以得到上述 评分预测矩阵 ，这种方法称为 低秩矩阵分解 ?
1.1K10发布于 2020-08-14 - 来自专栏晓飞的算法工程笔记
LORS：腾讯提出低秩残差结构，瘦身模型不掉点 | CVPR 2024
为了缓解这个问题，LORS（低秩残差结构）允许堆叠模块共享大部分参数，每个模块仅需要少量的唯一参数即可匹配甚至超过全量参数的性能。 为了实现这一目标，受LoRA方法的启发，论文引入了低秩残差结构 (LORS) 的概念，本质上是将私有参数添加到共享参数中，就像残差连接将残差信息添加到特征中一样。 总之，论文的贡献可以总结为：论文提出了用于堆叠网络的新颖低秩残差结构LORS，与普通结构相比，在大幅减少参数数量的同时保持甚至提高性能。 LoRA的关键思想是引入一个低秩参数矩阵，该矩阵能够捕获任务相关的知识，同时保持原始预训练参数固定。 表 6 探索了自适应LORS的最佳参数组数量和秩 $r$ 的值。 表 7 研究了 $\mathrm{LORS}^\mathrm{T}$ 的最佳配置设置。
49210编辑于 2024-04-22 - 来自专栏时空探索之旅
论文精读|2024ImputeFormer: 用于广义时空补全的低秩诱导的Transformer
，傅里叶变换，低秩注意力模块，线性复杂度。 时空数据与时间序列通常表现为一种“低秩”分布，即其总体模式可以由几个显著成分主导。因此近年来，低秩矩阵分解和张量补全成为了时空插补的数值高效技术。 具体来说，ImputeFormer通过以下几个关键技术来实现表达性和： 低秩性引入：利用时空数据的内在低秩结构，ImputeFormer在Transformer模型中引入了低秩性，以实现信号与噪声之间的平衡 图 3：模型计算效率 表4：消融实验 图4：输入序列长度的影响分析 表 5：不同观测率的影响：测试阶段 表 6：不同观测率的影响：训练阶段 图 6，7，10：ImputeFormer的时空低秩性解释 ImputeFormer模型：结合了低秩特性和Transformer模型的优势，通过引入低秩性约束到Transformer框架中，实现了信号与噪声之间的平衡。
1.1K10编辑于 2024-11-19 - 来自专栏GiantPandaCV
ICML 2023 LoSparse：低秩近似和结构化剪枝的有机组合
标题：ICML 2023 | LoSparse：低秩近似和结构化剪枝的有机组合 收录于合集 #低秩近似 #ICML 2023 #结构化剪枝 1. 低秩近似压缩神经元中的连贯和表达部分，而修剪去除神经元中的不连贯和非表达部分。从这个意义上说，低秩近似可以防止剪枝过度去除表达神经元，而稀疏近似增强了低秩近似的多样性。 3. 因此，本文引入了一个低秩矩阵来改进近似。 r 的低秩矩阵。 的低秩矩阵。
1.5K50编辑于 2023-08-22 - 来自专栏我爱计算机视觉
CVPR 2024 | LORS算法：低秩残差结构用于参数高效网络堆叠，参数少、成本低、内存小
为了实现这个目标，本文受到LoRA模块启发提出了低秩残差结构模块（Low-rank Residual Structure，LORS）。 方法 LoRA简介 低秩适应（Low-rank Adaption，LoRA）核心思想是引入一个能够不住哦特定任务知识的低秩参数矩阵，同时保持原始的预训练参数固定。 数学上，给定预训练参数矩阵 W\in \mathbb{R}^{d\times h} ，LoRA模块使用一个低秩矩阵 B\in \mathbb{R}^{d\times r} 和一个投影矩阵 A\in 静态低秩残差结构（Static Low Rank Residual Structure，LORS^T^） 假设有N个有相同架构的堆叠层模块， W_{i}\in \mathbb{R}^{d\times h 对于LORS^A^低秩值设置为 r=16 ，LORS^T^低秩值设置为 r=8 。
78610编辑于 2024-04-30 - 来自专栏晓飞的算法工程笔记
MicroNet: 低秩近似分解卷积以及超强激活函数，碾压MobileNet | 2020新文分析
从实验结果来看，仅需要6M MAdds就可以达到53.0%准确率，比12M MAdds的MobileNetV3还要高。 Micro-Factorized Convolution主要是对MobileNet的深度分离卷积进行更轻量化的改造，对pointwise convolution和depthwise convolution进行低秩近似 从数学上来说，矩阵$W$可分为$G\times G$个秩为1的小矩阵，从小节开头处的分解示意图可看出，矩阵$W$中$(i,j)$小矩阵实际为$P$矩阵的$j$列与$Q^T$的$j$行的矩阵相乘结果(去掉空格 可以看到，尽管这样的设计很简单，但依然能够有效地提升输入输出的关联性(矩阵$W$的秩也从1升为2)。 作为激活函数： Micro-Block-A：使用lite组合，对分辨率较高的低维特征特别有效。
57030编辑于 2022-04-11 - 来自专栏Hadoop数据仓库
HAWQ + MADlib 玩转数据挖掘之（四）——低秩矩阵分解实现推荐算法
一般假设原始矩阵是低秩的，我们可以从给定的值来还原这个矩阵。由于直接求解低秩矩阵从算法以及参数的复杂度来说效率很低，因此常用的方法是直接把原始矩阵分解成两个子矩阵相乘。 图9 二、MADlib低秩矩阵分解函数 从前面的介绍可以知道，Latent Factor推荐算法关键点在于评分矩阵的UV分解，求得P/Q两个矩阵。 三、低秩矩阵分解函数实现推荐算法示例 用lmf_igd_run函数分解图4所示的矩阵，并生成相应的推荐矩阵。 1. 推荐系统中的矩阵分解，假设推荐矩阵是两个低秩矩阵相乘，有何依据：说明假设低秩的意义。 浅谈矩阵分解在推荐系统中的应用：矩阵分解的数学推导。 Machine Learning第九讲[推荐系统] --（三）低秩矩阵分解：描述了实现细节中的均值归一化。
1.6K100发布于 2018-01-03 - 来自专栏数据分析与挖掘
DyLoRA：使用动态无搜索低秩适应的预训练模型的参数有效微调
提出的方法：引入了一种动态低秩适应（Dy-LoRA）技术。通过对适配器模块在训练期间的不同秩所学到的表示进行排序，为一系列的秩而不是单一的秩训练LoRA块。 无需搜索的LoRA：我们证明，通过在性能上做出可忽略不计的妥协，有可能避免为LoRA选择最佳秩的昂贵的搜索过程。 Part2介绍 在每一个LoRA模块中，有一个向上投影和向下投影的矩阵。 为了使LoRA模块在一系列的秩中工作，而不是单一的秩，我们需要确保增加或减少秩不会明显阻碍模型的性能。实现这种行为的一种方法是在LoRA模块的训练过程中对不同秩的信息内容进行排序。
2K40编辑于 2023-04-27 - 来自专栏机器之心
学界 | 从剪枝法到低秩分解，手机端语言模型的神经网络压缩
此外还有其他的矩阵分解技术：低秩分解、TT 分解（张量训练分解）。 通过使用 Penn Treebank (PTB）数据集，我们对比了 LSTM 模型在剪枝、量化、低秩分解、张量训练分解之后的模型大小与对快速推断的适应性。 3. 压缩方法统计 3.1 剪枝与量化 ? 图 1：剪枝前后的权重分布 3.2 低秩分解 3.3 TT 分解法（张量训练分解） 4. 结果 ? 表 1：在 PTB 数据集上的剪枝和量化结果 ? 表 2：在 PTB 数据集上的矩阵分解结果 5.
1.3K90发布于 2018-05-08 - 来自专栏人工智能
LoRA+AdaLoRA 混合微调：梯度低秩自适应到底该选哪一档 rank？
在众多PEFT方法中，低秩自适应（LoRA）以其简单高效的特性脱颖而出，但固定秩的设置限制了其灵活性。为此，AdaLoRA应运而生，通过动态调整秩分配来优化参数效率。 技术原理深度剖析LoRA：冻结原模型的优雅适配LoRA的核心思想是在预训练模型的权重矩阵旁添加一个低秩分解的旁路矩阵。 ：使用较高固定秩的LoRA，保证任务输出的表达能力秩选择的多维度考量选择最佳rank需平衡四个维度：任务复杂度：分类任务通常需要较低秩，生成任务需要较高秩数据规模：小数据易过拟合，宜用低秩；大数据可支持高秩模型规模 LoRA结合：在低秩基础上引入结构化稀疏模式多任务联合秩学习：共享部分秩参数，分离任务特定秩参数硬件感知秩优化：针对特定硬件架构（如NPU、TPU）优化秩分配策略开源资源推荐PEFT库：HuggingFace 的官方PEFT实现AdaLoRA官方代码：GitHub上的原始论文实现LoRA-Explorer：可视化秩选择影响的交互工具结论：没有银弹，只有适配通过详实的实验分析，我们明确了"最佳秩选择"本质上是一个多目标优化问题
17310编辑于 2026-01-14 - 来自专栏AIGC 先锋科技
超越低秩自适应，从LoRA到Neat，利用轻量级神经网络优化预训练模型 ！
微调预训练模型对于将大型模型适配到下游任务中至关重要，通常可以实现最先进的表现。然而，微调所有模型参数资源消耗大且耗时，因此出现了参数高效的微调（PEFT）方法。 一种广泛采用的PEFT技术，低秩自适应（LoRA），将预训练模型权重冻结并引入两个低秩矩阵，其秩显著小于原始权重矩阵的维度。这使得可以通过调整少量参数实现高效微调。 LoRA的核心概念是引入每个预训练模型权重低秩矩阵，并通过它们的乘积来近似权重更新。由于这些低秩矩阵比原始预训练权重小得多，微调期间的内存开销显著降低。 这种近似往往难以模拟需要高性能的复杂优化轨迹，尤其是在低秩矩阵的秩较小时。 LoRA（Hu等人，2021）为每个预训练模型权重引入了两个可训练的低秩矩阵，以近似原始模型的所需更新。
56110编辑于 2024-11-26 - 来自专栏深度学习自然语言处理
每日论文速递 | GaLore: 使用梯度低秩映射进行大模型 Memory-Efficient 全参训练
常见的内存降低方法，如低秩适应（LoRA），在每一层中向冻结的预训练权重添加一个可训练的低秩矩阵，从而减少可训练参数和优化器状态。 此外，这些方法可能需要全秩的热启动。 GaLore的核心思想是利用权重矩阵梯度的低秩结构，而不是尝试将权重矩阵本身近似为低秩。 LoRA通过将权重矩阵重参数化为低秩适配器的形式，从而减少可训练参数和优化器状态的数量。 ReLoRA：ReLoRA是LoRA的一个变体，用于预训练，它通过定期使用之前学习的低秩适配器更新冻结的预训练权重。 Q6: 总结一下论文的主要内容？ A：这篇论文的主要内容可以总结如下： 问题定义：论文针对大型语言模型（LLMs）训练过程中的内存挑战，特别是权重和优化器状态的不断增长导致的内存需求问题。
95311编辑于 2024-03-14 - 来自专栏AI智能体从入门到实践
构建AI智能体：从SVD的理论到LoRA的实践：大模型低秩微调的内在逻辑
三、SVD的低秩近似1. LoRA实施阶段4.1 构建LoRA适配器对于原始权重矩阵W ∈ R^{d×d}，构建：矩阵A ∈ R^{d×r}，使用随机初始化矩阵B ∈ R^{r×d}，初始化为零矩阵权重更新：ΔW = BA其中秩 ，适当增加关键层的秩如果效率不够，降低非关键层的秩建立各层敏感度分析，优化整体配置6. SVD分析：理解ΔW的低秩结构3. 秩选择：基于能量保留确定r值4. 分层配置：根据不同层特性调整秩5. LoRA训练：只优化低秩适配器6. 效果验证：确认配置合理性7. 秩 r= 1: 近似误差 0.9373, 参数数量 2,000 秩 r= 3: 近似误差 0.8057, 参数数量 6,000 秩 r= 5: 近似误差 0.6623, 参数数量 10,000
41532编辑于 2026-01-07 - 来自专栏低代码（low code）专栏
什么是低代码平台？2026年6大热门低代码平台盘点！
什么是低代码？简单来说，低代码就是一种“偷懒”的智慧，但它是一种聪明的、高效的“偷懒”。你可以把它想象成一个超级智能的“乐高积木套装”。 低代码的优势：为什么我们要用它？低代码在最近几年火得一塌糊涂，不是没有道理的。它至少带来了几个革命性的改变：第一，效率翻倍，时间缩水。过去以月甚至年为单位计算的开发周期，现在可能以周甚至天来计算。 业务总是在变的，传统软件改个流程可能要一星期，低代码可能只需要一小时。这种灵活性，让企业能像水一样，根据市场的变化随时调整自己的形状。2026年热门低代码平台盘点好了，铺垫了这么多，咱们终于进入正题。 截至2026年，低代码市场已经是百花齐放，竞争激烈。今天，我就从众多平台中，挑选出6个极具代表性的选手，给大家逐一盘点。1. 织信：企业级数字化底座第一个要聊的，是织信Informat。 6. 明道云：零代码利器最后一个，是明道云。在这6个里面，明道云的定位稍微有点不一样，它更偏向于“零代码”。我们开头说了低代码和无代码的区别。明道云就是那个“傻瓜相机”。
27310编辑于 2026-03-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号