- 综合排序
- 最热优先
- 最新优先
GLM4-9B-chat Lora 微调
当然不是r（秩），这个缩放就是lora_alpha/r, 在这个LoraConfig中缩放就是 4 倍。 ", "dense_4h_to_h"], # 现存问题只微调部分演示即可 inference_mode=False, # 训练模式 r=8, # Lora 秩 lora_alpha /GLM4' trainer.model.save_pretrained(lora_path) tokenizer.save_pretrained(lora_path) 加载 lora 权重推理 训练好了之后可以使用如下方式加载 PeftModel mode_path = '/root/autodl-tmp/glm-4-9b-chat/ZhipuAI/glm-4-9b-chat' lora_path = '. 05-GLM-4-9B-chat%20Lora%20%E5%BE%AE%E8%B0%83.ipynb
39110编辑于 2025-07-21- 来自专栏AIoT技术交流、分享
超低功耗LoRa无线通信应用实践
目录 1、模块简介 2、模块应用 2.1、工作模式 2.2、模块配置 ---- 1、模块简介 本博客选用LoRa Radio Module-868MHZ作为无线通信模组，其是一款体积小、微功率、低功耗、 2、模块应用 2.1、工作模式 LoRa模块有三种刚工作模式：标准模式（透明模式）（Standard）、中心模式（Central）和节点模式（Node），此外，中心模式和节点模式通讯时，可以采用“快速通道 简要说明如下所示： 序号 说明 序号 说明 1 打开串口 9 设置节点 ID 2 选择串口 10 设置网络 ID 3 选择软件波特率 11 设置发射功率 4 选择软件校验 12
82730发布于 2021-01-20 Phi-3-mini-4k-Instruct Lora 微调
本节我们简要介绍如何基于 transformers、peft 等框架，对 Phi-3-mini-4k-Instruct 模型进行 Lora 微调。 当然不是r（秩），这个缩放就是lora_alpha/r, 在这个LoraConfig中缩放就是 4 倍。 /output/Phi-3", per_device_train_batch_size=4, gradient_accumulation_steps=4, logging_steps from peft import PeftModel model_path = '/root/autodl-tmp/LLM-Research/Phi-3-mini-4k-instruct' lora_path print(response) 完整微调代码下载地址： https://github.com/datawhalechina/self-llm/blob/master/phi-3/Phi-3-mini-4k-Instruct-Lora.ipynb
37010编辑于 2025-07-21- 来自专栏DeepHub IMBA
LoRA及其变体概述：LoRA, DoRA, AdaLoRA, Delta-LoRA
在本文中，我们将解释LoRA本身的基本概念，然后介绍一些以不同的方式改进LoRA的功能的变体，包括LoRA+、VeRA、LoRA- fa、LoRA-drop、AdaLoRA、DoRA和Delta-LoRA LoRA+ LoRA+[2]通过为矩阵a和b引入不同的学习率，引入了一种更有效的训练LoRA适配器的方法。LoRA在训练神经网络时，学习率是应用于所有权重矩阵。 LoRA-FA LoRA- fa[4]，是LoRA与Frozen-A的缩写，在LoRA-FA中，矩阵A在初始化后被冻结，因此作为随机投影。 Delta-LoRA Delta-LoRA[8]引入了另一种改进LoRA的思想，让预训练矩阵W再次发挥作用。LoRA的主要思想是不要调整预训练矩阵W，因为这太费资源了。 Vera: Vector-based random matrix adaptation. arXiv preprint arXiv:2310.11454. [4]: LoRA-FA: Zhang, L.
5.5K32编辑于 2024-03-20 - 来自专栏信数据得永生
ChatGLM2-INT4 + Lora 结构适配和改造
ChatGLM2-INT4 这个量化版本使用自定义的QuantizedLinear作为线性模块。 注意在 INT4 模式下，一个 INT8 元素当两个 INT4 使用，InDim是 FP16 版本的一半。 weight_scale：量化的缩放系数，形状为[OutDim]。 bias：不量化的偏置，形状为[OutDim] weight_bit_width：量化位数，4 或者 8。 == 4: in_dim *= 2 # LoraA 正态初始化 self.lora_a = torch.nn.Parameter(torch.empty( weight = torch.round(weight / weight_scale[:, None]).to(torch.int8) if weight_bit_width == 4:
65230编辑于 2023-10-23 - 来自专栏自然语言处理(NLP)论文速递
UC | LoRA最新研究：总结LoRA最佳实践，实现LLMs高效微调！
最后作者还给出了使用LoRA的最佳实践，来方便大家更有效地利用LoRA进行大模型微调。 在数学CPT中，LoRA和全量微调都没有明显的遗忘，而在数学IFT中，LoRA的遗忘也比全量微调少。 如下图所示，LoRA提供了比注意力dropout和权重衰减更强的正则化效果。 LoRA最佳实践 「1、选择目标模块」：选择“所有”（Attention、MLP）模块进行LoRA微调通常比仅针对单一模块（如仅Attention或仅MLP）更有效。 「2、学习率」：LoRA对学习率非常敏感。LoRA的最佳学习率比全参数微调的学习率要高一个数量级。因此，进行详尽的学习率搜索以找到LoRA训练中最高的稳定学习率是至关重要的。 「4、训练时长」：建议至少进行四轮的微调，因为实验表明，即使在更长的训练时间内，LoRA也能保持其正则化特性，而不会显著增加遗忘。
1.7K10编辑于 2024-05-28 - 来自专栏喔家ArchiSelf
解读LoRA
增加r可以提高LoRA对完整微调更新的近似值，但在实践中，r的值非常小就足够了，这样能够在对性能影响最小的情况下显著降低计算和内存成本。 训练很快，每个任务只有少量特定于任务的参数与之相关，而且有各种在线资源已经开始使用LoRA了。 4. LoRA 实践 LoRA对人工智能从业者来说是一个非常有用的工具。 这里，简要概述如何使用Lit-GPT通过LoRA来微调LLM，希望能为在实践中使用LoRA提供一些有用的提示。 更具体地说，QLoRA对预训练的模型权重使用4位量化，并在此基础上训练LoRA模块。 此外，还有多种新的量化技术，以进一步减少内存使用： 4位NormalFloat（NF4）格式：一种新的（量化的）数据类型，适用于遵循正态分布的权重。
1.7K22编辑于 2023-12-20 - 来自专栏机器学习
什么是Lora
本文将详细介绍LoRA的原理、应用场景、优点以及如何在实际项目中使用LoRA进行模型微调。一、LoRA简介1.1 什么是LoRA？ 1.3 LoRA 的优点高效性：LoRA 通过低秩矩阵来更新模型权重，显著减少了训练参数的数量，从而降低了计算和存储成本。 torch.nn as nnclass LoRALayer(nn.Module): def __init__(self, in_features, out_features, rank=4): , rank=4): super(LoRAModel, self). 五、LoRA的局限性与挑战虽然 LoRA 在许多方面表现出色，但它也存在一些局限性和挑战：适用性限制：LoRA 主要适用于预训练模型的微调，对于从头训练的新模型，LoRA 的优势可能不明显。
3.8K00编辑于 2024-08-10 - 来自专栏京东技术
GPT大语言模型Alpaca-lora本地化部署实践
Tech 导读 大模型技术日新月异，开源大模型层出不穷，本文针对开源大模型Alpaca-lora进行本地化部署实践，探索大模型在部署和使用方面的细节。 LoRA的最大优势是训练速度更快，使用的内存更少。 图1.LoRA的做法 本文进行本地化部署实践的Alpaca-lora模型就是Alpaca模型的低阶适配版本。 本文将对Alpaca-lora模型本地化部署、微调和推理过程进行实践并描述相关步骤。 本文进行部署的GPU服务器具有4块独立的GPU，型号是Tesla P40（如下图所示），目前市面上主流的高性能显卡型号是基于4nm技术的RTX 4090和基于8nm技术的RTX 3090，但价格都比较昂贵 本地会有文件夹alpaca-lora，然后cd alpaca-lora到文件夹内部执行。
1.5K21编辑于 2023-08-22 - 来自专栏SimpleAI
两行代码开启 LoRA 微调 && LLM 情感实体抽取实践
然后，介绍了我使用这个工具，进行 LLM 情感实体抽取的一个实践。 , 分词后的数据集，即在 data/tokenized_data/ 地址下的文件夹名称 lora_rank, 设置 LoRA 的秩，推荐为4或8，显存够的话使用8 per_device_train_batch_size ，希望保存到 weights/simple_math_4op ，则执行下面命令(即train.sh文件)： CUDA_VISIBLE_DEVICES=2,3 python chatglm_lora_tuning.py \ --tokenized_dataset simple_math_4op \ --lora_rank 8 \ --per_device_train_batch_size 10 ---- 情感实体抽实践 | 效果展示 我最近对使用 LLM 做信息抽取比较感兴趣，因此我微调的目的是让模型做某些特殊场景下的复杂抽取。
1.7K20编辑于 2023-09-01 - 来自专栏All-in-IoT
LoRa初体验
参考github中的教程，创建LoRa产品； image.png 定义数据模板； image.png 创建设备 image.png 记录设备信息； image.png Explorer控制台设置就完成了
8598369发布于 2020-09-09 - 来自专栏AI智韵
QLoRA与LoRA的深度对比：从原理到实践（小白友好版）
一、一句话总结区别 LoRA是"给大模型打补丁"的技术，只训练少量参数；QLoRA = 4-bit压缩大模型 + LoRA补丁，让普通电脑也能微调大模型。 二、LoRA原理详解 1. 想象一个 100×100 的Excel表格（代表模型权重）： 传统微调：要修改全部 10,000个单元格 LoRA做法： 表A：100×4（100行×4列） 表B：4×100（4行×100列） 创建两个小表格 大模型权重变化具有低内在维度（就像3D物体可用2D照片表示） 实验证明： 就能匹配全参数微调90%的性能 三、QLoRA的进阶创新（在LoRA基础上） 1. 4-bit量化：给模型"瘦身" 技术 模型大小 双重量化（QLoRA独有） 第一层：将预训练权重压缩到4-bit 第二层：连LoRA的补丁矩阵 也压缩到4-bit 减少额外200MB内存，让7B模型能在RTX 3090上训练！ ★ 真实案例： 有开发者用QLoRA在RTX 4090上微调了7B模型，训练成本仅**$3.2**，效果接近专业模型 七、权威参考 QLoRA原论文 - 4-bit量化突破 LoRA原论文 - 低秩分解原理
1.7K10编辑于 2025-09-11 - 来自专栏人员定位
4G+蓝牙+Lora融合定位在隧道中的应用
一、新锐科创5G+蓝牙+LoRa融合定位系统方案针对隧道定位痛点，新锐科创推出了4G+蓝牙+LoRa融合定位系统方案。 该系统将4G的高速传输、蓝牙的高精度短距离定位以及LoRa的长距离低功耗传输优势相结合，为隧道提供了全面、精准、稳定的定位服务。 4G+蓝牙+LoRa融合定位系统的原理蓝牙定位原理在隧道关键位置部署蓝牙信标，其持续向外广播信号。 4G数据传输原理4G网络凭借高速率、大带宽、低延迟的优势，承担起将蓝牙和LoRa采集到的定位数据快速上传至管理平台的重任。 强适应性4G、蓝牙、Lora 技术各自适应隧道内不同环境特点，4G 应对数据传输需求，蓝牙适用于近距离精准定位，Lora 克服信号遮挡与长距离覆盖难题，三者协同适应复杂的隧道环境。
60010编辑于 2025-03-19 - 来自专栏AI算法能力提高班
Multi-LoRA Composition | 无需训练的任意LoRA组合
03 基于GPT-4V的评估器 提出的方法在所有配置和两个维度上始终优于 LoRA Merge，并且随着 LoRA 数量的增长，优越性也随之增加。 使用基于GPT-4V的评估框架，研究结果表明，这些方法在性能上明显优于现有基线，尤其是在组合中LoRA数量增加时。 实验： 介绍了ComposLoRA测试平台，它包含了多种LoRA类别和480个组合集。 使用GPT-4V作为评估器，对图像质量和组合效果进行了评估。 探讨了LoRA激活顺序和步长对LORA SWITCH性能的影响。 分析了GPT-4V作为评估器时的潜在偏见。 相关工作： 论文回顾了可组合文本到图像生成的相关研究，以及基于LoRA的操作研究。 附录： 提供了ComposLoRA中每个LoRA的详细描述，以及用于GPT-4V比较评估的完整评估提示和结果。
1.9K10编辑于 2024-03-14 LoRa基站与LoRa网关：殊途同归的“连接者”
在 LoRaWAN 网络架构中，LoRa 基站和 LoRa 网关是两个常被提及的术语。很多人会疑惑：它们之间到底有什么区别？ 其实，从技术角度来说，LoRa 基站和 LoRa 网关在功能上是完全一致的，都是负责接收 LoRa 终端设备的数据，并将其转发到网络服务器（Network Server）。为什么会有两个不同的称呼？ 这种称呼上的差异主要源于不同的使用场景和语境：LoRa 网关（LoRa Gateway）这是一个更通用、更技术化的术语，强调设备在 LoRaWAN 网络中作为“网关”的作用，即连接终端设备与网络服务器之间的桥梁 LoRa 基站（LoRa Base Station）这个称呼更多出现在运营商或大规模广域网部署的语境中。 总结LoRa 基站和 LoRa 网关本质上是同一类设备，它们在 LoRaWAN 网络中承担着连接终端与网络服务器的关键角色。不同的称呼更多是基于部署规模和使用场景的习惯性表达。
44010编辑于 2025-09-24- 来自专栏工程监测
LoRA转4G及网关中继器工作原理
LoRa网关是利用LoRa无线调制技术实现远距离数据传输的网关设备。LoRa网关位于LoRa星形网络的核心位置，是终端和服务器之间的信息桥梁，是多通道接收器。 LoRa 转4G网关的原理和使用LoRa网关采用Lora射频通信技术，把分布离散式的多个点的设备数据，通过无线Lora节点传输到网关，Lora网关通过以太网或4G网络，传输到服务器，从而实现远程数据采集与监控 （2.1s）、IQ反向的JoinRequest 4、中继检测到一次前导后再一次CAD（间隔80ms），成功则唤醒开始接收节点数据。 8、节点收到JoinAccept后最多发送5 次MType=PROPRIETARY的数据包给中继器，内容包含一个标志（0x1A2B3C4D），DevEui 和DevAdd 9、中继器收到后在Rx1发送一份相同的数据包给节点 图片 DLS11 是为 VS系列振弦采集仪研发的内置电池以及 LoRA、LTE（4G）无线的低功耗数据转发器。
1K40编辑于 2022-07-08 - 来自专栏DeepHub IMBA
使用LORA微调RoBERTa
一般来说我们只是使用LORA来微调大语言模型，但是其实只要是使用了Transformers块的模型，LORA都可以进行微调，本文将介绍如何利用PEFT库，使用LORA提高微调过程的效率。 LORA可以大大减少了可训练参数的数量，节省了训练时间、存储和计算成本，并且可以与其他模型自适应技术(如前缀调优)一起使用，以进一步增强模型。 但是，LORA会引入额外的超参数调优层(特定于LORA的秩、alpha等)。并且在某些情况下，性能不如完全微调的模型最优，这个需要根据不同的需求来进行测试。 首先我们安装需要的包： ! () peft_lora_finetuning_trainer = get_trainer(peft_model) peft_lora_finetuning_trainer.train() peft_lora_finetuning_trainer.evaluate() 可以看到 模型参数总计:125,537,288，而LORA模型的训练参数为:888,580，我们只需要用LORA训练~0.70%
91611编辑于 2024-02-21 LoRa 通信协议
LoRa 案例：土壤湿度监测 项目需求 通过 LoRa 通信协议，将土壤湿度传感器数据从一个 LoRa 节点发送到 LoRa 网关。 网关接收数据并通过串口显示。 LORA_SS 10 // LoRa 模块的 SS 引脚 #define LORA_RST 9 // LoRa 模块的 RESET 引脚 #define LORA_DIO0 Serial); pinMode(SOIL_SENSOR_PIN, INPUT); // 初始化 LoRa 模块 LoRa.setPins(LORA_SS, LORA_RST, LORA_DIO0 接收端（LoRa Gateway） #include <SPI.h> #include <LoRa.h> #define LORA_SS 10 // LoRa 模块的 SS 引脚 # Serial); // 初始化 LoRa 模块 LoRa.setPins(LORA_SS, LORA_RST, LORA_DIO0); if (!
99510编辑于 2025-08-29- 来自专栏物联网思考
LoRa连接到chirpstack
LoRa服务器有很多，今天聊聊ChirpStack，ChirpStack(https://www.chirpstack.io/)是一个开放源代码的的网络服务器，提供了丰富了应用API，用户可以部署在自己的服务器上 4、使能OTAA入网 ? 根据自己的设备入网方式，选择是否支持OTAA。 5、添加网关 ? 6、网关上线 ? 像我们单通道网关没有GPS，因此需要我们自己配置设置当前的经纬度。 7、创建应用 ?
2.4K20发布于 2021-01-08 - 来自专栏物联网思考
LoRa没有凉，工信部发话了，LoRa应该这么玩！
这份公告中与LoRa相关的主要是以下内容： ? LoRa工作在ISM频段，各个国家的ISM频段有所不同，国内主要是470-510M，也就是报告中关于民用计量仪表的相关内容。 并没有所谓的禁止使用LoRa，而是规范了LoRa的使用。 说到LoRa就不得不说NB-IoT。 LoRa构建物联网的优势在于，灵活组网，一次布网，永久免费使用，数据私密性强。 LoRa作为当下物联网的典型代表，一路走来是市场的选择。 从LoRa联盟官网（https://lora-alliance.org/）了解到，全球有超过140多个国家部署了LoRa网络。 与此同时，前一阵阿里向LoRa联盟提交的LoRaWAN中国地区的参数，已经获得了LoRa联盟的认可。
5.3K21发布于 2020-09-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号