- 综合排序
- 最热优先
- 最新优先
- 来自专栏AIoT技术交流、分享
超低功耗LoRa无线通信应用实践
目录 1、模块简介 2、模块应用 2.1、工作模式 2.2、模块配置 ---- 1、模块简介 本博客选用LoRa Radio Module-868MHZ作为无线通信模组，其是一款体积小、微功率、低功耗、 2、模块应用 2.1、工作模式 LoRa模块有三种刚工作模式：标准模式（透明模式）（Standard）、中心模式（Central）和节点模式（Node），此外，中心模式和节点模式通讯时，可以采用“快速通道
82330发布于 2021-01-20 - 来自专栏DeepHub IMBA
LoRA及其变体概述：LoRA, DoRA, AdaLoRA, Delta-LoRA
在本文中，我们将解释LoRA本身的基本概念，然后介绍一些以不同的方式改进LoRA的功能的变体，包括LoRA+、VeRA、LoRA- fa、LoRA-drop、AdaLoRA、DoRA和Delta-LoRA LoRA+ LoRA+[2]通过为矩阵a和b引入不同的学习率，引入了一种更有效的训练LoRA适配器的方法。LoRA在训练神经网络时，学习率是应用于所有权重矩阵。 LoRA-FA LoRA- fa[4]，是LoRA与Frozen-A的缩写，在LoRA-FA中，矩阵A在初始化后被冻结，因此作为随机投影。 LoRA-drop[5]则引入了一种算法来决定哪些层由LoRA微调，哪些层不需要。 LoRA-drop包括两个步骤。在第一步中对数据的一个子集进行采样，训练LoRA进行几次迭代。 Delta-LoRA Delta-LoRA[8]引入了另一种改进LoRA的思想，让预训练矩阵W再次发挥作用。LoRA的主要思想是不要调整预训练矩阵W，因为这太费资源了。
5.5K32编辑于 2024-03-20 - 来自专栏自然语言处理(NLP)论文速递
UC | LoRA最新研究：总结LoRA最佳实践，实现LLMs高效微调！
引言 本文深入探讨了当前主流大模型高效微调方法——低秩适应（LoRA）。在代码编程、数学推理两个领域，对比了LoRA和全微调在不同数据规模下的性能。 最后作者还给出了使用LoRA的最佳实践，来方便大家更有效地利用LoRA进行大模型微调。 在数学CPT中，LoRA和全量微调都没有明显的遗忘，而在数学IFT中，LoRA的遗忘也比全量微调少。 如下图所示，LoRA提供了比注意力dropout和权重衰减更强的正则化效果。 LoRA最佳实践 「1、选择目标模块」：选择“所有”（Attention、MLP）模块进行LoRA微调通常比仅针对单一模块（如仅Attention或仅MLP）更有效。 「2、学习率」：LoRA对学习率非常敏感。LoRA的最佳学习率比全参数微调的学习率要高一个数量级。因此，进行详尽的学习率搜索以找到LoRA训练中最高的稳定学习率是至关重要的。
1.7K10编辑于 2024-05-28 - 来自专栏喔家ArchiSelf
解读LoRA
为了使这一想法更加具体，微调得出的参数可以有如下的形式化表达： LoRA的核心思想是通过低秩分解对模型参数的更新进行建模,在实践中实现为一对线性投影。 增加r可以提高LoRA对完整微调更新的近似值，但在实践中，r的值非常小就足够了，这样能够在对性能影响最小的情况下显著降低计算和内存成本。 训练很快，每个任务只有少量特定于任务的参数与之相关，而且有各种在线资源已经开始使用LoRA了。 4. LoRA 实践 LoRA对人工智能从业者来说是一个非常有用的工具。 这里，简要概述如何使用Lit-GPT通过LoRA来微调LLM，希望能为在实践中使用LoRA提供一些有用的提示。 在实践中，QLoRA以略微降低训练速度为代价来节省内存。例如，用QLoRA代替LoRA来微调LLaMA-2-7B可以减少33%的内存使用，但增加了39%的训练时间。
1.6K22编辑于 2023-12-20 - 来自专栏机器学习
什么是Lora
本文将详细介绍LoRA的原理、应用场景、优点以及如何在实际项目中使用LoRA进行模型微调。一、LoRA简介1.1 什么是LoRA？ 1.2 LoRA 的基本原理LoRA 依赖于以下两个核心概念：低秩矩阵：在矩阵分解中，低秩矩阵是可以通过较少的参数来逼近高秩矩阵的。 1.3 LoRA 的优点高效性：LoRA 通过低秩矩阵来更新模型权重，显著减少了训练参数的数量，从而降低了计算和存储成本。 , 5)# 用 LoRA 包装原始模型model_with_lora = LoRAModel(original_model)3.4 训练和微调模型在集成 LoRA 之后，我们可以正常地进行模型训练和微调 五、LoRA的局限性与挑战虽然 LoRA 在许多方面表现出色，但它也存在一些局限性和挑战：适用性限制：LoRA 主要适用于预训练模型的微调，对于从头训练的新模型，LoRA 的优势可能不明显。
3.7K00编辑于 2024-08-10 - 来自专栏京东技术
GPT大语言模型Alpaca-lora本地化部署实践
Tech 导读 大模型技术日新月异，开源大模型层出不穷，本文针对开源大模型Alpaca-lora进行本地化部署实践，探索大模型在部署和使用方面的细节。 LoRA的最大优势是训练速度更快，使用的内存更少。 图1.LoRA的做法 本文进行本地化部署实践的Alpaca-lora模型就是Alpaca模型的低阶适配版本。 本文将对Alpaca-lora模型本地化部署、微调和推理过程进行实践并描述相关步骤。 本地会有文件夹alpaca-lora，然后cd alpaca-lora到文件夹内部执行。 /lora-alpaca-zh' \ --load_8bit 其中.
1.5K21编辑于 2023-08-22 - 来自专栏SimpleAI
两行代码开启 LoRA 微调 && LLM 情感实体抽取实践
然后，介绍了我使用这个工具，进行 LLM 情感实体抽取的一个实践。 仓库地址：https://github.com/beyondguo/LLM-Tuning 目前支持： 清华 ChatGLM-6B 的 LoRA 微调 百川智能 baichuan-7B 的 LoRA 微调 ，对于不同的 LLM，需切换不同的 python 文件来执行： ChatGLM-6B 应使用 chatglm_lora_tuning.py baichuan-7B 应使用 baichuan_lora_tuning.py 使用 LoRA 微调 得到 tokenize 之后的数据集，就可以直接运行 chatglm_lora_tuning.py 来训练 LoRA 模型了，具体可设置的主要参数包括： tokenized_dataset ---- 情感实体抽实践 | 效果展示 我最近对使用 LLM 做信息抽取比较感兴趣，因此我微调的目的是让模型做某些特殊场景下的复杂抽取。
1.7K20编辑于 2023-09-01 - 来自专栏AI智韵
QLoRA与LoRA的深度对比：从原理到实践（小白友好版）
一、一句话总结区别 LoRA是"给大模型打补丁"的技术，只训练少量参数；QLoRA = 4-bit压缩大模型 + LoRA补丁，让普通电脑也能微调大模型。 二、LoRA原理详解 1. 传统微调 vs LoRA 传统微调：修改整个大模型的所有参数（像给整栋大楼重新装修） 问题：7B模型需要14GB显存，训练成本极高 LoRA：只训练"参数补丁"（像只装修关键房间） 核心思想：冻结原始模型 双重量化（QLoRA独有） 第一层：将预训练权重压缩到4-bit 第二层：连LoRA的补丁矩阵 也压缩到4-bit 减少额外200MB内存，让7B模型能在RTX 3090上训练！ ： LoRA像"电动自行车"——轻便但需要专用充电站（大显存GPU） QLoRA像"折叠电动自行车"——更便携（小显存可用），速度稍慢但能进地铁 五、手把手教学：如何选择？ ✅ 选LoRA当： 你有 A100/H100 等高端GPU（显存≥24GB） 需要快速迭代（如每天训练多次） 任务对精度极其敏感（如数学推理） # LoRA典型配置（Hugging Face） lora_config
1.6K10编辑于 2025-09-11 - 来自专栏All-in-IoT
LoRa初体验
参考github中的教程，创建LoRa产品； image.png 定义数据模板； image.png 创建设备 image.png 记录设备信息； image.png Explorer控制台设置就完成了
8598369发布于 2020-09-09 - 来自专栏DeepHub IMBA
使用LORA微调RoBERTa
一般来说我们只是使用LORA来微调大语言模型，但是其实只要是使用了Transformers块的模型，LORA都可以进行微调，本文将介绍如何利用PEFT库，使用LORA提高微调过程的效率。 LORA可以大大减少了可训练参数的数量，节省了训练时间、存储和计算成本，并且可以与其他模型自适应技术(如前缀调优)一起使用，以进一步增强模型。 但是，LORA会引入额外的超参数调优层(特定于LORA的秩、alpha等)。并且在某些情况下，性能不如完全微调的模型最优，这个需要根据不同的需求来进行测试。 首先我们安装需要的包： ! () peft_lora_finetuning_trainer = get_trainer(peft_model) peft_lora_finetuning_trainer.train() peft_lora_finetuning_trainer.evaluate() 可以看到 模型参数总计:125,537,288，而LORA模型的训练参数为:888,580，我们只需要用LORA训练~0.70%
90411编辑于 2024-02-21 LoRa 通信协议
LoRa 案例：土壤湿度监测 项目需求 通过 LoRa 通信协议，将土壤湿度传感器数据从一个 LoRa 节点发送到 LoRa 网关。 网关接收数据并通过串口显示。 LORA_SS 10 // LoRa 模块的 SS 引脚 #define LORA_RST 9 // LoRa 模块的 RESET 引脚 #define LORA_DIO0 Serial); pinMode(SOIL_SENSOR_PIN, INPUT); // 初始化 LoRa 模块 LoRa.setPins(LORA_SS, LORA_RST, LORA_DIO0 接收端（LoRa Gateway） #include <SPI.h> #include <LoRa.h> #define LORA_SS 10 // LoRa 模块的 SS 引脚 # Serial); // 初始化 LoRa 模块 LoRa.setPins(LORA_SS, LORA_RST, LORA_DIO0); if (!
97110编辑于 2025-08-29- 来自专栏AI算法能力提高班
Multi-LoRA Composition | 无需训练的任意LoRA组合
Multi-LoRA Composition | 无需训练的任意LoRA组合 本文主要介绍无需训练的任意数量LORA的切换与组合方法，说人话就是“可以将每个Lora的特色合成到一张图像上，比如人物、服装 01 亮点介绍 无需训练，即可将任意数量的LoRA模型进行切换或者组合 LoRA Switch 和 LoRA Composite 无需微调即可动态、精确地集成多个 LoRA。 LoRA Switch (LoRA-S) 切换，训练中等间隔切换Lora 为了探索在每个去噪步骤中激活单个 LoRA，我们提出了 LoRA Switch。 LoRA Composite (LoRA-C) 组合，多个Lora元素组合为一个图像 为了探索在每个时间步合并所有 LoRA，而不合并权重矩阵，提出了 LoRA Composite。 LORA SWITCH在每个去噪步骤中交替激活不同的LoRA，而LORA COMPOSITE同时结合所有LoRA以指导更连贯的图像合成。
1.9K10编辑于 2024-03-14 LoRa基站与LoRa网关：殊途同归的“连接者”
在 LoRaWAN 网络架构中，LoRa 基站和 LoRa 网关是两个常被提及的术语。很多人会疑惑：它们之间到底有什么区别？ 其实，从技术角度来说，LoRa 基站和 LoRa 网关在功能上是完全一致的，都是负责接收 LoRa 终端设备的数据，并将其转发到网络服务器（Network Server）。为什么会有两个不同的称呼？ 这种称呼上的差异主要源于不同的使用场景和语境：LoRa 网关（LoRa Gateway）这是一个更通用、更技术化的术语，强调设备在 LoRaWAN 网络中作为“网关”的作用，即连接终端设备与网络服务器之间的桥梁 LoRa 基站（LoRa Base Station）这个称呼更多出现在运营商或大规模广域网部署的语境中。 总结LoRa 基站和 LoRa 网关本质上是同一类设备，它们在 LoRaWAN 网络中承担着连接终端与网络服务器的关键角色。不同的称呼更多是基于部署规模和使用场景的习惯性表达。
43510编辑于 2025-09-24- 来自专栏物联网思考
LoRa没有凉，工信部发话了，LoRa应该这么玩！
这份公告中与LoRa相关的主要是以下内容： ? LoRa工作在ISM频段，各个国家的ISM频段有所不同，国内主要是470-510M，也就是报告中关于民用计量仪表的相关内容。 并没有所谓的禁止使用LoRa，而是规范了LoRa的使用。 说到LoRa就不得不说NB-IoT。 LoRa构建物联网的优势在于，灵活组网，一次布网，永久免费使用，数据私密性强。 LoRa作为当下物联网的典型代表，一路走来是市场的选择。 从LoRa联盟官网（https://lora-alliance.org/）了解到，全球有超过140多个国家部署了LoRa网络。 与此同时，前一阵阿里向LoRa联盟提交的LoRaWAN中国地区的参数，已经获得了LoRa联盟的认可。
5.3K21发布于 2020-09-27 - 来自专栏物联网思考
LoRa连接到chirpstack
LoRa服务器有很多，今天聊聊ChirpStack，ChirpStack(https://www.chirpstack.io/)是一个开放源代码的的网络服务器，提供了丰富了应用API，用户可以部署在自己的服务器上
2.4K20发布于 2021-01-08 - 来自专栏自然语言处理(NLP)论文速递
GSU | 提出VB-LoRA，仅需LoRA参数的0.4%，就超越了LoRA微调效果
但参数高效微调 (PEFT) 方法，比如LoRA及其变体会产生大量的参数存储和传输成本。 在对 Llama2-13B 模型进行微调时，VB-LoRA 仅使用了 LoRA 存储参数的 0.4%就超过了LoRA微调效果，可见实力强悍。 例如：低秩自适应 (LoRA)方法就是通过近似自注意力模块的累积梯度更新来实现矩阵参数的内部耦合；Tied-LoRA方法通过跨所有层的权重绑定来实现矩阵参数的跨层共享。 VB-LoRA 「LoRA局限性」 LoRA通过在模型的权重矩阵上添加低秩矩阵来调整模型参数，而不是更新整个权重矩阵。 对Llama2模型（7B和13B参数版本）进行微调，VB-LoRA在使用极少的存储参数（Llama2 7B为0.8M，Llama2 13B为1.1M）的情况下，实现了比LoRA更高的分数。
75310编辑于 2024-05-30 - 来自专栏twowinter
LoRa Gateway 笔记汇总
1 基础环境搭建 2 Packet forward 这是LoRa网关的开源应用。 2.2 源码分析 3 LoRa Gateway 这是 HAL 库。 3.1 功能使用 3.1.3 帮助程序 util_pkt_logger 进行 LoRa 空口抓包 以前小能手使用 SX1276 做过一个 LoRa抓包工具，最大的局限是不能抓多个频点的数据。 3.2 源码分析 3.2.1 LoRa Gateway 源码工程梳理 手痒研究LoRaWAN基站，初步了解了LoRaGateway的github工程，做些梳理记录。 END
1.1K10发布于 2020-04-17 - 来自专栏物联网思考
LoRa串口透传
前言：串口透传也是用的最多的一种，用户把需要发送的数据通过串口发送到模块，模块正确接收后，然后通过LoRa发送出去，发送完后再切换到接收模式。模块不分主从机，但是要确保两个模块的射频参数一致。 SR USART2->DR;//DR USART_ClearITPendingBit(USART2, USART_IT_IDLE); COMRecvIDLE(true); }} 3、LoRa LoRa点对点通信，OLED显示（内附代码） 4、串口透传
1.6K10发布于 2021-03-09 - 来自专栏个人博客
LoRA 笔记 - plus studio
LoRA[1]冻结预训练模型权重并将可训练的秩分解矩阵注入到 Transformer 架构的每一层中，大大减少了下游任务的可训练参数的数量。 与用 Adam 微调的 GPT-3 175B 相比，LoRA 可以将可训练参数的数量减少了 10,000 倍，GPU 内存需求减少了 3 倍。 你可能会想问，LoRA作为一个微调大语言模型和图文大模型的方法，关矩阵的秩什么事？ 为什么需要LoRA LoRA并不是第一个进行微调大模型的，从迁移学习开始有很多的尝试，以语言建模为例，在有效适应方面有两种突出的策略：添加适配器层或优化某种形式的输入层激活。 LoRA到底怎么工作 神经网络包含许多执行矩阵乘法的密集层。这些层中的权重矩阵通常具有满秩。
50410编辑于 2024-02-28 - 来自专栏twowinter
LoRa笔记03 LoRa sx1276 sx1278空中唤醒研究
这篇笔记将讲LoRa节点的空中唤醒具体应用。 我正在学习LoRa和LoRaWAN，基本按照 官方资料+梳理解析+相关源码 的方式来记录笔记，相信对不少同行者有所帮助，可点此查看帖子LoRa学习笔记_汇总。 在前文的空中唤醒的原理中，已经提到CAD功能是LoRa调制的一个特色，比普通RSSI检测方式要强大得多。 操作原理介绍 信道活动检测模式旨在以尽可能高的功耗效率检测无线信道上的LoRa前导码。在CAD模式下， SX1276/77/78快速扫描频段，以检测LoRa数据包前导码。 信道活动检测时长取决于使用的LoRa调制设置。下图针对特定配置显示了典型CAD检测时长，该时长为LoRa符号周期的倍数。
3.4K10发布于 2020-04-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号