- 综合排序
- 最热优先
- 最新优先
- 来自专栏技术趋势
chatGLM3-LoRA微调实战
注意：ChatGLM3-6B-Base 和 ChatGLM3-6B-32K 模型不支持微调。 啥是泛化能力？ 微调方法 名称 GPU占用 备注 LoRA 低(秩)rank 自适应微调方法全称全称是：LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS 14082MiB 显存预计 14GB 微软的研究者们于2021年通过论文《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS》提出了低秩适应LoRA Fine-Tuning 全参微调 ，train.json用于训练数据集的文件; 基于LORA微调方法 硬件要求 硬件名称 配置 备注 内存 16GB GPU 15GB 多论对话模板 [ { "conversations": [ ──────────────── Traceback (most recent call last) ──────────────────────╮ │ /data/llm/llama/ChatGLM3/
1.9K10编辑于 2024-03-22 - 来自专栏AIoT技术交流、分享
超低功耗LoRa无线通信应用实践
目录 1、模块简介 2、模块应用 2.1、工作模式 2.2、模块配置 ---- 1、模块简介 本博客选用LoRa Radio Module-868MHZ作为无线通信模组，其是一款体积小、微功率、低功耗、 模块间的通信距离3到5千米，通信范围广，若再加入中继模块提供中继路由，可有效扩大通讯范围，在距离上足可覆盖许多应用网络。 2、模块应用 2.1、工作模式 LoRa模块有三种刚工作模式：标准模式（透明模式）（Standard）、中心模式（Central）和节点模式（Node），此外，中心模式和节点模式通讯时，可以采用“快速通道 简要说明如下所示： 序号 说明 序号 说明 1 打开串口 9 设置节点 ID 2 选择串口 10 设置网络 ID 3 选择软件波特率 11 设置发射功率 4 选择软件校验 12
82730发布于 2021-01-20 LLaMA3-8B-Instruct Lora 微调
本节我们简要介绍如何基于 transformers、peft 等框架，对 LLaMA3-8B-Instruct 模型进行 Lora 微调。 /llama3_lora' trainer.model.save_pretrained(lora_path) tokenizer.save_pretrained(lora_path) 加载 lora 权重推理 from peft import PeftModel mode_path = '/root/autodl-tmp/LLM-Research/Meta-Llama-3-8B-Instruct' lora_path /llama3_lora' # lora权重路径 # 加载tokenizer tokenizer = AutoTokenizer.from_pretrained(mode_path) # 加载模型 LLaMA3-8B-Instruct%20Lora.ipynb
64910编辑于 2025-07-21- 来自专栏DeepHub IMBA
LoRA及其变体概述：LoRA, DoRA, AdaLoRA, Delta-LoRA
在本文中，我们将解释LoRA本身的基本概念，然后介绍一些以不同的方式改进LoRA的功能的变体，包括LoRA+、VeRA、LoRA- fa、LoRA-drop、AdaLoRA、DoRA和Delta-LoRA VeRA VeRA(Vector-based Random Matrix Adaptation)[3]，引入了一种方法来大幅减少LoRA参数大小。 如果将秩为16的lora层引入GPT-3，则会有75.5万个参数。使用VeRA，则只需要280万(减少97%)。在参数如此少的情况下，性能如何呢? LoRA-FA LoRA- fa[4]，是LoRA与Frozen-A的缩写，在LoRA-FA中，矩阵A在初始化后被冻结，因此作为随机投影。 LoRA+: Efficient Low Rank Adaptation of Large Models. arXiv preprint arXiv:2402.12354. [3] VeRA: Kopiczko
5.5K32编辑于 2024-03-20 ChatGLM3-6B-chat Lora 微调
06-ChatGLM3-6B-chat Lora 微调 概述 本节我们简要介绍如何基于 transformers、peft 等框架，对 ChatGLM3-6B-chat 模型进行 Lora 微调。 Lora 是一种高效微调方法，深入了解其原理可参见博客：知乎|深入浅出Lora。 本节所讲述的代码脚本在同级目录 ChatGLM3-6B-chat Lora 微调 下，运行该脚本来执行微调过程，但注意，本文代码未使用分布式框架，微调 ChatGLM3-6B-Chat 模型至少需要 21G r：lora的秩，具体可以看Lora原理 lora_alpha：Lora alaph，具体作用参见 Lora 原理 modules_to_save指定的是除了拆成lora的模块，其他的模块可以完整的指定训练 秩 lora_alpha=32, # Lora alaph，具体作用参见 Lora 原理 lora_dropout=0.1# Dropout 比例 ) 自定义 TrainingArguments
51010编辑于 2025-07-17- 来自专栏自然语言处理(NLP)论文速递
UC | LoRA最新研究：总结LoRA最佳实践，实现LLMs高效微调！
最后作者还给出了使用LoRA的最佳实践，来方便大家更有效地利用LoRA进行大模型微调。 在数学CPT中，LoRA和全量微调都没有明显的遗忘，而在数学IFT中，LoRA的遗忘也比全量微调少。 如下图所示，LoRA提供了比注意力dropout和权重衰减更强的正则化效果。 LoRA最佳实践 「1、选择目标模块」：选择“所有”（Attention、MLP）模块进行LoRA微调通常比仅针对单一模块（如仅Attention或仅MLP）更有效。 「2、学习率」：LoRA对学习率非常敏感。LoRA的最佳学习率比全参数微调的学习率要高一个数量级。因此，进行详尽的学习率搜索以找到LoRA训练中最高的稳定学习率是至关重要的。 「3、秩的选择」：在LoRA配置中，秩的选择会影响性能和内存需求之间的权衡。较低的秩是一个在性能和准确性之间取得良好平衡的选择，尤其是当内存资源有限时。
1.7K10编辑于 2024-05-28 Phi-3-mini-4k-Instruct Lora 微调
本节我们简要介绍如何基于 transformers、peft 等框架，对 Phi-3-mini-4k-Instruct 模型进行 Lora 微调。 https://www.codewithgpu.com/i/datawhalechina/self-llm/Phi-3-Lora 在本节教程里，我们将微调数据集放置在根目录 /dataset。 /Phi-3_lora' trainer.model.save_pretrained(lora_path) tokenizer.save_pretrained(lora_path) 加载 lora 权重推理 /Phi-3_lora' # lora权重路径 # 加载tokenizer tokenizer = AutoTokenizer.from_pretrained(model_path, padding_side Phi-3-mini-4k-Instruct-Lora.ipynb
37010编辑于 2025-07-21- 来自专栏喔家ArchiSelf
解读LoRA
为了使这一想法更加具体，微调得出的参数可以有如下的形式化表达： LoRA的核心思想是通过低秩分解对模型参数的更新进行建模,在实践中实现为一对线性投影。 增加r可以提高LoRA对完整微调更新的近似值，但在实践中，r的值非常小就足够了，这样能够在对性能影响最小的情况下显著降低计算和内存成本。 与微调的GPT-3 175B相比，LoRA可以将可训练参数的数量减少10000倍，GPU内存需求减少3倍。 训练很快，每个任务只有少量特定于任务的参数与之相关，而且有各种在线资源已经开始使用LoRA了。 4. LoRA 实践 LoRA对人工智能从业者来说是一个非常有用的工具。 这里，简要概述如何使用Lit-GPT通过LoRA来微调LLM，希望能为在实践中使用LoRA提供一些有用的提示。
1.7K22编辑于 2023-12-20 - 来自专栏机器学习
什么是Lora
本文将详细介绍LoRA的原理、应用场景、优点以及如何在实际项目中使用LoRA进行模型微调。一、LoRA简介1.1 什么是LoRA？ 1.2 LoRA 的基本原理LoRA 依赖于以下两个核心概念：低秩矩阵：在矩阵分解中，低秩矩阵是可以通过较少的参数来逼近高秩矩阵的。 1.3 LoRA 的优点高效性：LoRA 通过低秩矩阵来更新模型权重，显著减少了训练参数的数量，从而降低了计算和存储成本。 , 5)# 用 LoRA 包装原始模型model_with_lora = LoRAModel(original_model)3.4 训练和微调模型在集成 LoRA 之后，我们可以正常地进行模型训练和微调 五、LoRA的局限性与挑战虽然 LoRA 在许多方面表现出色，但它也存在一些局限性和挑战：适用性限制：LoRA 主要适用于预训练模型的微调，对于从头训练的新模型，LoRA 的优势可能不明显。
3.8K00编辑于 2024-08-10 - 来自专栏京东技术
GPT大语言模型Alpaca-lora本地化部署实践
Tech 导读 大模型技术日新月异，开源大模型层出不穷，本文针对开源大模型Alpaca-lora进行本地化部署实践，探索大模型在部署和使用方面的细节。 LoRA的最大优势是训练速度更快，使用的内存更少。 图1.LoRA的做法 本文进行本地化部署实践的Alpaca-lora模型就是Alpaca模型的低阶适配版本。 本文将对Alpaca-lora模型本地化部署、微调和推理过程进行实践并描述相关步骤。 推理时间问题：由于目前部署的GPU服务器有4块GPU，能够执行的有3块，基于3块GPU，在推理的时候还是比较吃力的，执行一次交互需要大概30s-1min，如果达到chatGPT那样实时返回，则需要大量的算力进行支持 ，可以反推，chatGPT后台肯定是有大集群算力支持的，所以如果想做成服务，成本投入是需要考量的一个问题； 3.
1.5K21编辑于 2023-08-22 - 来自专栏SimpleAI
两行代码开启 LoRA 微调 && LLM 情感实体抽取实践
然后，介绍了我使用这个工具，进行 LLM 情感实体抽取的一个实践。 , "a": "这是简单的除法运算，51除以186大概为0.274"} {"q": "鹿妈妈买了24个苹果，她想平均分给她的3只小鹿吃，每只小鹿可以分到几个苹果？" , "a": "鹿妈妈买了24个苹果，平均分给3只小鹿吃，那么每只小鹿可以分到的苹果数就是总苹果数除以小鹿的只数。\n24÷3=8\n每只小鹿可以分到8个苹果。 3. ---- 情感实体抽实践 | 效果展示 我最近对使用 LLM 做信息抽取比较感兴趣，因此我微调的目的是让模型做某些特殊场景下的复杂抽取。
1.7K20编辑于 2023-09-01 - 来自专栏All-in-IoT
LoRa初体验
参考github中的教程，创建LoRa产品； image.png 定义数据模板； image.png 创建设备 image.png 记录设备信息； image.png Explorer控制台设置就完成了
8598369发布于 2020-09-09 - 来自专栏AI智韵
QLoRA与LoRA的深度对比：从原理到实践（小白友好版）
一、一句话总结区别 LoRA是"给大模型打补丁"的技术，只训练少量参数；QLoRA = 4-bit压缩大模型 + LoRA补丁，让普通电脑也能微调大模型。 二、LoRA原理详解 1. 传统微调 vs LoRA 传统微调：修改整个大模型的所有参数（像给整栋大楼重新装修） 问题：7B模型需要14GB显存，训练成本极高 LoRA：只训练"参数补丁"（像只装修关键房间） 核心思想：冻结原始模型 大模型权重变化具有低内在维度（就像3D物体可用2D照片表示） 实验证明： 就能匹配全参数微调90%的性能 三、QLoRA的进阶创新（在LoRA基础上） 1. 4-bit量化：给模型"瘦身" 技术 模型大小 ： LoRA像"电动自行车"——轻便但需要专用充电站（大显存GPU） QLoRA像"折叠电动自行车"——更便携（小显存可用），速度稍慢但能进地铁 五、手把手教学：如何选择？ ✅ 选LoRA当： 你有 A100/H100 等高端GPU（显存≥24GB） 需要快速迭代（如每天训练多次） 任务对精度极其敏感（如数学推理） # LoRA典型配置（Hugging Face） lora_config
1.7K10编辑于 2025-09-11 - 来自专栏AI算法能力提高班
Multi-LoRA Composition | 无需训练的任意LoRA组合
、物体这3个LORA通过不训练的方法，就可以在一张图像上合成这3种元素，且精度没有损失”。 LoRA Switch (LoRA-S) 切换，训练中等间隔切换Lora 为了探索在每个去噪步骤中激活单个 LoRA，我们提出了 LoRA Switch。 LoRA Composite (LoRA-C) 组合，多个Lora元素组合为一个图像 为了探索在每个时间步合并所有 LoRA，而不合并权重矩阵，提出了 LoRA Composite。 the prompts for image generation prompt = "RAW photo, subject, 8k uhd, dslr, high quality, Fujifilm XT3, microskirt" negative_prompt = "extra heads, nsfw, deformed iris, deformed pupils, semi-realistic, cgi, 3d
1.9K10编辑于 2024-03-14 LoRa基站与LoRa网关：殊途同归的“连接者”
在 LoRaWAN 网络架构中，LoRa 基站和 LoRa 网关是两个常被提及的术语。很多人会疑惑：它们之间到底有什么区别？ 其实，从技术角度来说，LoRa 基站和 LoRa 网关在功能上是完全一致的，都是负责接收 LoRa 终端设备的数据，并将其转发到网络服务器（Network Server）。为什么会有两个不同的称呼？ 这种称呼上的差异主要源于不同的使用场景和语境：LoRa 网关（LoRa Gateway）这是一个更通用、更技术化的术语，强调设备在 LoRaWAN 网络中作为“网关”的作用，即连接终端设备与网络服务器之间的桥梁 LoRa 基站（LoRa Base Station）这个称呼更多出现在运营商或大规模广域网部署的语境中。 总结LoRa 基站和 LoRa 网关本质上是同一类设备，它们在 LoRaWAN 网络中承担着连接终端与网络服务器的关键角色。不同的称呼更多是基于部署规模和使用场景的习惯性表达。
44010编辑于 2025-09-24- 来自专栏DeepHub IMBA
使用LORA微调RoBERTa
一般来说我们只是使用LORA来微调大语言模型，但是其实只要是使用了Transformers块的模型，LORA都可以进行微调，本文将介绍如何利用PEFT库，使用LORA提高微调过程的效率。 LORA可以大大减少了可训练参数的数量，节省了训练时间、存储和计算成本，并且可以与其他模型自适应技术(如前缀调优)一起使用，以进一步增强模型。 但是，LORA会引入额外的超参数调优层(特定于LORA的秩、alpha等)。并且在某些情况下，性能不如完全微调的模型最优，这个需要根据不同的需求来进行测试。 首先我们安装需要的包： ! () peft_lora_finetuning_trainer = get_trainer(peft_model) peft_lora_finetuning_trainer.train() peft_lora_finetuning_trainer.evaluate() 可以看到 模型参数总计:125,537,288，而LORA模型的训练参数为:888,580，我们只需要用LORA训练~0.70%
91611编辑于 2024-02-21 LoRa 通信协议
LoRa 案例：土壤湿度监测 项目需求 通过 LoRa 通信协议，将土壤湿度传感器数据从一个 LoRa 节点发送到 LoRa 网关。 网关接收数据并通过串口显示。 LORA_SS 10 // LoRa 模块的 SS 引脚 #define LORA_RST 9 // LoRa 模块的 RESET 引脚 #define LORA_DIO0 Serial); pinMode(SOIL_SENSOR_PIN, INPUT); // 初始化 LoRa 模块 LoRa.setPins(LORA_SS, LORA_RST, LORA_DIO0 接收端（LoRa Gateway） #include <SPI.h> #include <LoRa.h> #define LORA_SS 10 // LoRa 模块的 SS 引脚 # Serial); // 初始化 LoRa 模块 LoRa.setPins(LORA_SS, LORA_RST, LORA_DIO0); if (!
99510编辑于 2025-08-29- 来自专栏物联网思考
LoRa连接到chirpstack
LoRa服务器有很多，今天聊聊ChirpStack，ChirpStack(https://www.chirpstack.io/)是一个开放源代码的的网络服务器，提供了丰富了应用API，用户可以部署在自己的服务器上 3、创建Device-profiles（设备配置） ? 注：LoRaWAN的版本是向下兼容的。 4、使能OTAA入网 ? 根据自己的设备入网方式，选择是否支持OTAA。 5、添加网关 ?
2.4K20发布于 2021-01-08 - 来自专栏物联网思考
LoRa没有凉，工信部发话了，LoRa应该这么玩！
这份公告中与LoRa相关的主要是以下内容： ? LoRa工作在ISM频段，各个国家的ISM频段有所不同，国内主要是470-510M，也就是报告中关于民用计量仪表的相关内容。 并没有所谓的禁止使用LoRa，而是规范了LoRa的使用。 说到LoRa就不得不说NB-IoT。 LoRa构建物联网的优势在于，灵活组网，一次布网，永久免费使用，数据私密性强。 LoRa作为当下物联网的典型代表，一路走来是市场的选择。 从LoRa联盟官网（https://lora-alliance.org/）了解到，全球有超过140多个国家部署了LoRa网络。 与此同时，前一阵阿里向LoRa联盟提交的LoRaWAN中国地区的参数，已经获得了LoRa联盟的认可。
5.3K21发布于 2020-09-27 - 来自专栏自然语言处理(NLP)论文速递
GSU | 提出VB-LoRA，仅需LoRA参数的0.4%，就超越了LoRA微调效果
但参数高效微调 (PEFT) 方法，比如LoRA及其变体会产生大量的参数存储和传输成本。 在对 Llama2-13B 模型进行微调时，VB-LoRA 仅使用了 LoRA 存储参数的 0.4%就超过了LoRA微调效果，可见实力强悍。 例如：低秩自适应 (LoRA)方法就是通过近似自注意力模块的累积梯度更新来实现矩阵参数的内部耦合；Tied-LoRA方法通过跨所有层的权重绑定来实现矩阵参数的跨层共享。 VB-LoRA 「LoRA局限性」 LoRA通过在模型的权重矩阵上添加低秩矩阵来调整模型参数，而不是更新整个权重矩阵。 对Llama2模型（7B和13B参数版本）进行微调，VB-LoRA在使用极少的存储参数（Llama2 7B为0.8M，Llama2 13B为1.1M）的情况下，实现了比LoRA更高的分数。
76010编辑于 2024-05-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号