- 综合排序
- 最热优先
- 最新优先
- 来自专栏CreateAMind
大语言模型的可扩展贝叶斯低秩适配
在本研究中，我们提出了基于随机变分子空间推理的可扩展贝叶斯低秩适应方法（ScalaBL）。我们在一个r维子空间中进行贝叶斯推理（r为LoRA的秩）。 在本研究中，我们提出了基于随机变分子空间推理的可扩展贝叶斯低秩适应方法（ScalaBL）。 2.1 低秩适应（Low-Rank Adaptation） 2.2 拉普拉斯LoRA Yang 等人 [2024a] 的工作是将不确定性量化技术应用于 LoRA 层的首个研究实例，其方法是对低秩参数应用拉普拉斯近似 即将 A重新视为一个低秩高斯分布的均值，记为 Aμ，并学习一组方差参数 Aσ。 6 结论 在本研究中，我们提出了基于随机变分子空间推理的可扩展贝叶斯低秩适应方法（ScalaBL）。
12710编辑于 2026-03-11 - 来自专栏时空探索之旅
AI论文速读 | ST-LoRA：低秩适配的时空预测
具体来说，首先定制一个包含多个可训练低秩矩阵的节点自适配低秩层。此外，设计了一个多层残差融合堆叠模块，将低秩适配器注入到各种模型的预测器模块中。 论文的核心思想是通过引入节点自适配的低秩层（Node Adaptive Low-rank Layer, NALL）和多层残差融合模块，来有效地将低秩适配器注入到不同模型的预测器模块中，从而提高模型对不同节点异质性的适配能力 (b) 低秩适配器块的计算过程，(c) 使用低秩矩阵计算节点级权重调整 A: 论文通过提出一个名为ST-LoRA（低秩适配）的框架来解决时空预测中节点异质性的问题。 方法论: 提出了节点自适配低秩层（NALL），通过在每个节点上添加可训练的低秩矩阵来调整原始参数权重，以捕捉节点的异质性。 设计了多层残差融合模块，将低秩适配器注入到不同模型的预测器模块中，以提高模型对节点异质性的适配能力。
51710编辑于 2024-11-19 - 来自专栏具身小站
大模型微调概述 - LoRA（低秩适应）
尽管预训练模型本身是高维复杂的，但针对特定任务的适应性调整往往是低维的。例如，模型原本已经学会了通用语法和知识，要适应某个特定领域的对话，只需要在几个关键方向上微调即可，这些方向就对应着低秩子空间。 前向传播：对于原始权重 W0 的输入 x，输出计算变为： 其中 α 是一个缩放超参数，用于控制低秩分支的影响强度。 推理阶段：LoRA 提供两种推理方式： 合并式：将训练好的低秩矩阵合并回原始权重：。然后直接使用合并后的权重进行推理，没有额外的计算开销。 分离式：保留原始权重和低秩分支，在前向时分别计算后相加。 可插拔性强：训练好的 LoRA 模块（通常仅几 MB 到几十 MB）可以轻松保存、分享和加载，且可以针对不同任务训练多个 LoRA 模块，在推理时按需切换，实现“一基座多适配”。 4 一些注意事项与变体 秩 r 的选择：r 是超参数，控制着低秩空间的表达能力。通常 r 越小，参数量越少，但可能不足以捕获任务的复杂适应；r 越大，效果可能更接近全量微调，但参数量增加。
69320编辑于 2026-03-09 - 来自专栏拓端tecdat
JupyterLab实现医疗推理数据集Llama4Scout的4-bit量化、LoRA低秩适配、SFT有监督微调|轻量化适配
LoRA低秩适配配置与SFT有监督微调为了实现大模型的高效、低成本微调，本次项目采用LoRA（低秩适配）技术，该技术是大模型垂直领域适配的主流技术，核心原理是冻结基础模型的绝大部分参数，仅训练少量新增的低秩矩阵参数 LoRA低秩适配核心参数配置from peft import LoraConfig, get_peft_model# 配置LoRA低秩适配训练参数，修改所有变量名lora_config = LoraConfig ( lora_alpha=16, # LoRA缩放因子，平衡低秩矩阵贡献 lora_dropout=0.05, # Dropout概率，防止模型训练过拟合 r=64, # 低秩矩阵的秩，控制训练参数数量 ：针对医疗推理场景设计专属的Prompt工程，结合医疗专业数据集开展SFT有监督微调，让通用大模型快速具备垂直领域的专业推理能力，大幅提升模型的行业适配性；模型训练效率低问题：采用LoRA低秩适配技术， 总结本文基于实际的客户咨询项目，详细拆解了如何通过云GPU平台实现Llama 4 Scout大模型的低成本、轻量化微调，通过4-bit量化、LoRA低秩适配、多GPU分布式训练等技术优化，将原本需要4张高端
13510编辑于 2026-02-10 - 来自专栏DeepHub IMBA
LoRA:大模型的低秩自适应微调模型
所以Microsoft 提出了低秩自适应(Low-Rank Adaptation, LoRA)，它冻结了预先训练好的模型权重，并将可训练的秩的分解矩阵注入到Transformer体系结构的每一层，从而大大减少了下游任务的可训练参数数量 LoRA 对于预训练的权重矩阵W0，可以让其更新受到用低秩分解表示后者的约束: 在训练过程中，W0被冻结，不接受梯度更新，而A和B包含可训练参数。 但是使用Lora，批处理大小为2的单进程训练可以在单个12GB GPU上完成(不使用xformer的10GB，使用xformer的6GB)。 所以Lora在图像生成领域也是非常好的一个微调模型的方式。
99720编辑于 2023-08-28 - 来自专栏计算机技术-参与活动
python中权重剪枝，低秩分解，量化技术 代码
同时，文章还讨论了数据传输中的安全性问题，提出了不依赖加密算法的数据传输安全方案目录python中权重剪枝，低秩分解，量化技术 代码权重剪枝低秩分解scipy量化技术python中权重剪枝，低秩分解， prune.l1_unstructured(model.conv1, name='weight', amount=0.2)# 微调剪枝后的模型# 这里省略了微调的代码实现，但通常包括继续训练模型以恢复性能低秩分解低秩分解可以通过将权重矩阵分解为两个低秩矩阵的乘积来实现 以下是一个使用PyTorch实现低秩分解的简单例子：scipy在Python中，可以使用scipy库中的svd函数来实现奇异值分解（Singular Value Decomposition, SVD）。 math.sqrt(5)) def forward(self, x): return torch.matmul(torch.matmul(x, self.A), self.B)# 使用低秩分解替换全连接层 # 假设原始权重矩阵为W，现在将其替换为两个低秩矩阵的乘积rank = 10 # 假设我们希望分解后的秩为10low_rank_layer = LowRankDecomposition(in_features
28811编辑于 2024-12-04 - 来自专栏晓飞的算法工程笔记
LORS：腾讯提出低秩残差结构，瘦身模型不掉点 | CVPR 2024
为了缓解这个问题，LORS（低秩残差结构）允许堆叠模块共享大部分参数，每个模块仅需要少量的唯一参数即可匹配甚至超过全量参数的性能。 为了实现这一目标，受LoRA方法的启发，论文引入了低秩残差结构 (LORS) 的概念，本质上是将私有参数添加到共享参数中，就像残差连接将残差信息添加到特征中一样。 总之，论文的贡献可以总结为：论文提出了用于堆叠网络的新颖低秩残差结构LORS，与普通结构相比，在大幅减少参数数量的同时保持甚至提高性能。 ApproachPreliminaryThe mechanism of LoRA 低秩适应（LoRA）技术是一种新颖的方法，使大型预训练语言模型能够适应特定任务。 LoRA的关键思想是引入一个低秩参数矩阵，该矩阵能够捕获任务相关的知识，同时保持原始预训练参数固定。
49210编辑于 2024-04-22 - 来自专栏时空探索之旅
论文精读|2024ImputeFormer: 用于广义时空补全的低秩诱导的Transformer
，傅里叶变换，低秩注意力模块，线性复杂度。 时空数据与时间序列通常表现为一种“低秩”分布，即其总体模式可以由几个显著成分主导。因此近年来，低秩矩阵分解和张量补全成为了时空插补的数值高效技术。 具体来说，ImputeFormer通过以下几个关键技术来实现表达性和： 低秩性引入：利用时空数据的内在低秩结构，ImputeFormer在Transformer模型中引入了低秩性，以实现信号与噪声之间的平衡 图 3：模型计算效率 表4：消融实验 图4：输入序列长度的影响分析 表 5：不同观测率的影响：测试阶段 表 6：不同观测率的影响：训练阶段 图 6，7，10：ImputeFormer的时空低秩性解释 ImputeFormer模型：结合了低秩特性和Transformer模型的优势，通过引入低秩性约束到Transformer框架中，实现了信号与噪声之间的平衡。
1.1K10编辑于 2024-11-19 - 来自专栏GiantPandaCV
ICML 2023 LoSparse：低秩近似和结构化剪枝的有机组合
标题：ICML 2023 | LoSparse：低秩近似和结构化剪枝的有机组合 收录于合集 #低秩近似 #ICML 2023 #结构化剪枝 1. 低秩近似压缩神经元中的连贯和表达部分，而修剪去除神经元中的不连贯和非表达部分。从这个意义上说，低秩近似可以防止剪枝过度去除表达神经元，而稀疏近似增强了低秩近似的多样性。 3. 因此，本文引入了一个低秩矩阵来改进近似。 r 的低秩矩阵。 的低秩矩阵。
1.5K50编辑于 2023-08-22 - 来自专栏我爱计算机视觉
CVPR 2024 | LORS算法：低秩残差结构用于参数高效网络堆叠，参数少、成本低、内存小
为了实现这个目标，本文受到LoRA模块启发提出了低秩残差结构模块（Low-rank Residual Structure，LORS）。 方法 LoRA简介 低秩适应（Low-rank Adaption，LoRA）核心思想是引入一个能够不住哦特定任务知识的低秩参数矩阵，同时保持原始的预训练参数固定。 数学上，给定预训练参数矩阵 W\in \mathbb{R}^{d\times h} ，LoRA模块使用一个低秩矩阵 B\in \mathbb{R}^{d\times r} 和一个投影矩阵 A\in 实验 训练超参数设置 模型训练12或36周期，12周期训练的第8和第11阶段的学习率下降了10倍，36周期训练的第24和第33阶段的学习率下降了10倍。 对于LORS^A^低秩值设置为 r=16 ，LORS^T^低秩值设置为 r=8 。
78610编辑于 2024-04-30 - 来自专栏网络安全攻防
OWASP低代码Top 10
文章前言 低代码/无代码开发平台提供了一个通过图形用户界面创建应用软件而不是传统的手工编码计算机程序的开发环境，这种平台减少了传统手工编码的规模，从而加快了商业应用程序的交付，而随着低代码/无代码开发平台激增以及被组织广泛使用 ，产业界提出了一个明确而紧迫的需求，即建立依赖此类平台开发的应用程序相关的安全和隐私风险意识 OWASP Top 10 Low-Code/No-Code Security Risks(简称OWASP低代码十大安全风险 风险清单 身份冒充 风险评级 风险要点 无代码/低代码开发的应用程序可能内嵌任何应用程序用户隐式冒充的用户身份，这为权限提升创建了一 条攻击路径，允许攻击者隐藏在另一个用户的身份背后来绕过传统的安全控制 (PaaS)和云平台的跨组织堆栈上，大多数无代码/低代码平台都内置了大量连接器(即围绕API的包装器)，可轻松地实现快速连接，大多数无代码/低代码平台中连接器和用户凭证形式的连接都是头等对象，这意味着可以在应用程序之间 ，作为数据移动的载体，无代码/低代码应用程序轻易就可以通过把数据移动到组织边界外部的另一个组织或个人账号而导致数据泄露，而当作为操作触发器，无代码/低代码应用程序可能通过将一个系 统中的操作与另一个系统中的更改隐式耦合而造成意想不到的后果
1.5K20编辑于 2022-12-22 - 来自专栏晓飞的算法工程笔记
MicroNet: 低秩近似分解卷积以及超强激活函数，碾压MobileNet | 2020新文分析
Micro-Factorized Convolution主要是对MobileNet的深度分离卷积进行更轻量化的改造，对pointwise convolution和depthwise convolution进行低秩近似 从数学上来说，矩阵$W$可分为$G\times G$个秩为1的小矩阵，从小节开头处的分解示意图可看出，矩阵$W$中$(i,j)$小矩阵实际为$P$矩阵的$j$列与$Q^T$的$j$行的矩阵相乘结果(去掉空格 可以看到，尽管这样的设计很简单，但依然能够有效地提升输入输出的关联性(矩阵$W$的秩也从1升为2)。 e6f0e747eb9b1c3f9e4e48d55c568852.png] 论文设计了3种不同的Mircro-Block，里面均包含了Dynamic Shift-Max作为激活函数： Micro-Block-A：使用lite组合，对分辨率较高的低维特征特别有效 [10eee29ee1dfa7782209d9fcd3eca241.png] 从MobileNet到MicroNet的修改对比，每个修改的提升都很大，论文还有很多关于各模块的超参数对比实验，由兴趣的可以去看看
57030编辑于 2022-04-11 - 来自专栏Hadoop数据仓库
HAWQ + MADlib 玩转数据挖掘之（四）——低秩矩阵分解实现推荐算法
一般假设原始矩阵是低秩的，我们可以从给定的值来还原这个矩阵。由于直接求解低秩矩阵从算法以及参数的复杂度来说效率很低，因此常用的方法是直接把原始矩阵分解成两个子矩阵相乘。 图9 二、MADlib低秩矩阵分解函数 从前面的介绍可以知道，Latent Factor推荐算法关键点在于评分矩阵的UV分解，求得P/Q两个矩阵。 三、低秩矩阵分解函数实现推荐算法示例 用lmf_igd_run函数分解图4所示的矩阵，并生成相应的推荐矩阵。 1. 推荐系统中的矩阵分解，假设推荐矩阵是两个低秩矩阵相乘，有何依据：说明假设低秩的意义。 浅谈矩阵分解在推荐系统中的应用：矩阵分解的数学推导。 Machine Learning第九讲[推荐系统] --（三）低秩矩阵分解：描述了实现细节中的均值归一化。
1.6K100发布于 2018-01-03 - 来自专栏数据分析与挖掘
DyLoRA：使用动态无搜索低秩适应的预训练模型的参数有效微调
提出的方法：引入了一种动态低秩适应（Dy-LoRA）技术。通过对适配器模块在训练期间的不同秩所学到的表示进行排序，为一系列的秩而不是单一的秩训练LoRA块。 无需搜索的LoRA：我们证明，通过在性能上做出可忽略不计的妥协，有可能避免为LoRA选择最佳秩的昂贵的搜索过程。 Part2介绍 在每一个LoRA模块中，有一个向上投影和向下投影的矩阵。 为了使LoRA模块在一系列的秩中工作，而不是单一的秩，我们需要确保增加或减少秩不会明显阻碍模型的性能。实现这种行为的一种方法是在LoRA模块的训练过程中对不同秩的信息内容进行排序。
2K40编辑于 2023-04-27 - 来自专栏郭霖
Android 10适配要点，深色主题
各位小伙伴们大家早上好，今天给大家带来一篇关于Android 10适配的原创文章。 在不久之前，我才发布了一篇Android 10适配的文章，讲的是作用域存储的相关内容，详见链接 Android 10适配要点，作用域存储 。 而除了作用域存储之外，深色主题也是Android 10中的一大亮点，并且是需要开发者进行适配的。因此本篇文章我们就来探讨关于深色主题的内容。 接下来我们开始学习如何深色主题模式进行适配。 最简单的一种适配方式就是使用Force Dark，它是一种能让应用程序快速适配深色主题，并且几乎不用编写额外代码的方式。 好了，关于Android 10深色主题的适配内容就讲到这里。
2.4K10发布于 2020-05-18 - 来自专栏机器之心
学界 | 从剪枝法到低秩分解，手机端语言模型的神经网络压缩
此外还有其他的矩阵分解技术：低秩分解、TT 分解（张量训练分解）。 通过使用 Penn Treebank (PTB）数据集，我们对比了 LSTM 模型在剪枝、量化、低秩分解、张量训练分解之后的模型大小与对快速推断的适应性。 3. 压缩方法统计 3.1 剪枝与量化 ? 图 1：剪枝前后的权重分布 3.2 低秩分解 3.3 TT 分解法（张量训练分解） 4. 结果 ? 表 1：在 PTB 数据集上的剪枝和量化结果 ? 表 2：在 PTB 数据集上的矩阵分解结果 5.
1.3K90发布于 2018-05-08 - 来自专栏DLZY_deft
win 10安装java环境并适配，进而适配burp suit（一）
一、检查电脑是否已经适配了java环境，如果从未安装过可忽略。 1、卸载原java环境，手动删除java安装目录文件再清理或修改环境变量。 虽说不愿当小白鼠也绝对不推荐大家反人类的继续使用诸如VC6.0等等......】 image.png 3.下载安装 image.png 首先要点击Accept License Agreement,然后选择合适自己的版本，如今一般win10
1.9K20发布于 2019-08-03 - 来自专栏DLZY_deft
win 10安装java环境并适配，进而适配burp suit（二）
一、集中下载burp suit por 2.0（无视python2.7算是附送hh）
87510发布于 2019-08-03 - 来自专栏Android程序Shape使用总结！
Android 10 和Android 11的适配
背景 最近在项目中着手做Android10和Android11 适配时候，期间遇到了不少的坑。之前有专门写过qq、微信分享的适配。但是此次在针对偏业务侧适配工作的时候还是碰到了一些新的问题。 具体的适配逻辑参考篇头的文章~ 二、公共目录下资源访问 Google建议我们采用 mediaStore 或者 SAF 去访问。 三、终极适配方案 在Android10上 开启标志位 ：android:requestLegacyExternalStorage="true"来开启兼容模式，关闭分区适配，相当于targetSdkVersion 因为，Android10的设备还是以Android10的兼容模式运行的。所以要改成true。 答： 如果按照上面正常适配，肯定完全没得问题！
1.9K41编辑于 2021-12-20 - 来自专栏iOS 开发杂谈
iOS开发之iOS10适配
公司的项目，临上线之前做了一下iOS10的适配，发现一大堆的坑，瞬间觉得苹果不友好了。 一、证书问题 打开xcode8.0时编译运行时出现下面问题： ? 二、系统判断方法失效 在你的项目中,当需要判断系统版本的话,不要使用下面的方法: #define isiOS10 ([[[[UIDevice currentDevice] systemVersion] substringToIndex:1] intValue]>=10) 它会永远返回NO,substringToIndex:1在iOS 10 会被检测成iOS 1了,应该使用下面的这些方法: Objective-C 不过，WWDC 16 中，Apple 表示将继续在 iOS 10 和 macOS 10.12 里收紧对普通 HTTP 的访问限制。 九、字体变化 苹果的默认字体会随着iOS系统版本的不同而不同，iOS10中字体变大了。导致了原来的显示有问题，会造成...的出现。暂时没有好的解决办法，需要自己在一个个适配一下！
2K20发布于 2018-09-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号