- 综合排序
- 最热优先
- 最新优先
- 来自专栏AIoT技术交流、分享
超低功耗LoRa无线通信应用实践
目录 1、模块简介 2、模块应用 2.1、工作模式 2.2、模块配置 ---- 1、模块简介 本博客选用LoRa Radio Module-868MHZ作为无线通信模组，其是一款体积小、微功率、低功耗、 模块间的通信距离3到5千米，通信范围广，若再加入中继模块提供中继路由，可有效扩大通讯范围，在距离上足可覆盖许多应用网络。 2、模块应用 2.1、工作模式 LoRa模块有三种刚工作模式：标准模式（透明模式）（Standard）、中心模式（Central）和节点模式（Node），此外，中心模式和节点模式通讯时，可以采用“快速通道 序号 说明 序号 说明 1 打开串口 9 设置节点 ID 2 选择串口 10 设置网络 ID 3 选择软件波特率 11 设置发射功率 4 选择软件校验 12 设置串口波特率 5
82730发布于 2021-01-20 - 来自专栏DeepHub IMBA
LoRA及其变体概述：LoRA, DoRA, AdaLoRA, Delta-LoRA
在本文中，我们将解释LoRA本身的基本概念，然后介绍一些以不同的方式改进LoRA的功能的变体，包括LoRA+、VeRA、LoRA- fa、LoRA-drop、AdaLoRA、DoRA和Delta-LoRA LoRA+ LoRA+[2]通过为矩阵a和b引入不同的学习率，引入了一种更有效的训练LoRA适配器的方法。LoRA在训练神经网络时，学习率是应用于所有权重矩阵。 LoRA-FA LoRA- fa[4]，是LoRA与Frozen-A的缩写，在LoRA-FA中，矩阵A在初始化后被冻结，因此作为随机投影。 LoRA-drop[5]则引入了一种算法来决定哪些层由LoRA微调，哪些层不需要。 LoRA-drop包括两个步骤。在第一步中对数据的一个子集进行采样，训练LoRA进行几次迭代。 :2308.03303. [5] LoRA-drop: Zhou, H., Lu, X., Xu, W., Zhu, C., & Zhao, T. (2024).
5.5K32编辑于 2024-03-20 - 来自专栏自然语言处理(NLP)论文速递
UC | LoRA最新研究：总结LoRA最佳实践，实现LLMs高效微调！
引言 本文深入探讨了当前主流大模型高效微调方法——低秩适应（LoRA）。在代码编程、数学推理两个领域，对比了LoRA和全微调在不同数据规模下的性能。 最后作者还给出了使用LoRA的最佳实践，来方便大家更有效地利用LoRA进行大模型微调。 在数学CPT中，LoRA和全量微调都没有明显的遗忘，而在数学IFT中，LoRA的遗忘也比全量微调少。 如下图所示，LoRA提供了比注意力dropout和权重衰减更强的正则化效果。 LoRA最佳实践 「1、选择目标模块」：选择“所有”（Attention、MLP）模块进行LoRA微调通常比仅针对单一模块（如仅Attention或仅MLP）更有效。 「2、学习率」：LoRA对学习率非常敏感。LoRA的最佳学习率比全参数微调的学习率要高一个数量级。因此，进行详尽的学习率搜索以找到LoRA训练中最高的稳定学习率是至关重要的。
1.7K10编辑于 2024-05-28 - 来自专栏喔家ArchiSelf
解读LoRA
为了使这一想法更加具体，微调得出的参数可以有如下的形式化表达： LoRA的核心思想是通过低秩分解对模型参数的更新进行建模,在实践中实现为一对线性投影。 增加r可以提高LoRA对完整微调更新的近似值，但在实践中，r的值非常小就足够了，这样能够在对性能影响最小的情况下显著降低计算和内存成本。 训练很快，每个任务只有少量特定于任务的参数与之相关，而且有各种在线资源已经开始使用LoRA了。 4. LoRA 实践 LoRA对人工智能从业者来说是一个非常有用的工具。 这里，简要概述如何使用Lit-GPT通过LoRA来微调LLM，希望能为在实践中使用LoRA提供一些有用的提示。 因此，除了LoRA之外，我们还可以执行端到端的微调，并在LoRA之上应用其他微调技术。 5. LoRA的各种变体 LoRA的提出促进了整个大模型微调领域的发展，进而涌现出了很多变体。
1.7K22编辑于 2023-12-20 - 来自专栏机器学习
什么是Lora
本文将详细介绍LoRA的原理、应用场景、优点以及如何在实际项目中使用LoRA进行模型微调。一、LoRA简介1.1 什么是LoRA？ 1.3 LoRA 的优点高效性：LoRA 通过低秩矩阵来更新模型权重，显著减少了训练参数的数量，从而降低了计算和存储成本。 , 5)# 用 LoRA 包装原始模型model_with_lora = LoRAModel(original_model)3.4 训练和微调模型在集成 LoRA 之后，我们可以正常地进行模型训练和微调 in range(100): optimizer.zero_grad() inputs = torch.randn(32, 10) targets = torch.randn(32, 5) 五、LoRA的局限性与挑战虽然 LoRA 在许多方面表现出色，但它也存在一些局限性和挑战：适用性限制：LoRA 主要适用于预训练模型的微调，对于从头训练的新模型，LoRA 的优势可能不明显。
3.8K00编辑于 2024-08-10 - 来自专栏京东技术
GPT大语言模型Alpaca-lora本地化部署实践
Tech 导读 大模型技术日新月异，开源大模型层出不穷，本文针对开源大模型Alpaca-lora进行本地化部署实践，探索大模型在部署和使用方面的细节。 LoRA的最大优势是训练速度更快，使用的内存更少。 图1.LoRA的做法 本文进行本地化部署实践的Alpaca-lora模型就是Alpaca模型的低阶适配版本。 本文将对Alpaca-lora模型本地化部署、微调和推理过程进行实践并描述相关步骤。 2.安装setuptools 接下来需要安装打包和分发工具setuptools，下载地址：wget https://files.pythonhosted.org/packages/26/e5/9897eee1100b166a61f91b68528cb692e8887300d9cbdaa1a349f6304b79 图5.创建成功示意 03 模型训练 理解，首先 MCube 会依据模板缓存状态判断是否需要网络获取最新模板，当获取到模板后进行模板加载，加载阶段会将产物转换为视图树的结构，转换完成后将通过表达式引擎解析表达式并取得正确的值
1.5K21编辑于 2023-08-22 - 来自专栏SimpleAI
两行代码开启 LoRA 微调 && LLM 情感实体抽取实践
然后，介绍了我使用这个工具，进行 LLM 情感实体抽取的一个实践。 仓库地址：https://github.com/beyondguo/LLM-Tuning 目前支持： 清华 ChatGLM-6B 的 LoRA 微调 百川智能 baichuan-7B 的 LoRA 微调 ，对于不同的 LLM，需切换不同的 python 文件来执行： ChatGLM-6B 应使用 chatglm_lora_tuning.py baichuan-7B 应使用 baichuan_lora_tuning.py 使用 LoRA 微调 得到 tokenize 之后的数据集，就可以直接运行 chatglm_lora_tuning.py 来训练 LoRA 模型了，具体可设置的主要参数包括： tokenized_dataset ---- 情感实体抽实践 | 效果展示 我最近对使用 LLM 做信息抽取比较感兴趣，因此我微调的目的是让模型做某些特殊场景下的复杂抽取。
1.7K20编辑于 2023-09-01 - 来自专栏All-in-IoT
LoRa初体验
参考github中的教程，创建LoRa产品； image.png 定义数据模板； image.png 创建设备 image.png 记录设备信息； image.png Explorer控制台设置就完成了 image.png Keil5早已安装，然后安装元器件库，忘了截图。 接下来，修改一下设备数据。 image.png 编译，成功没问题。
8598369发布于 2020-09-09 - 来自专栏AI智韵
QLoRA与LoRA的深度对比：从原理到实践（小白友好版）
一、一句话总结区别 LoRA是"给大模型打补丁"的技术，只训练少量参数；QLoRA = 4-bit压缩大模型 + LoRA补丁，让普通电脑也能微调大模型。 二、LoRA原理详解 1. 传统微调 vs LoRA 传统微调：修改整个大模型的所有参数（像给整栋大楼重新装修） 问题：7B模型需要14GB显存，训练成本极高 LoRA：只训练"参数补丁"（像只装修关键房间） 核心思想：冻结原始模型 双重量化（QLoRA独有） 第一层：将预训练权重压缩到4-bit 第二层：连LoRA的补丁矩阵 也压缩到4-bit 减少额外200MB内存，让7B模型能在RTX 3090上训练！ ： LoRA像"电动自行车"——轻便但需要专用充电站（大显存GPU） QLoRA像"折叠电动自行车"——更便携（小显存可用），速度稍慢但能进地铁 五、手把手教学：如何选择？ ✅ 选LoRA当： 你有 A100/H100 等高端GPU（显存≥24GB） 需要快速迭代（如每天训练多次） 任务对精度极其敏感（如数学推理） # LoRA典型配置（Hugging Face） lora_config
1.7K10编辑于 2025-09-11 - 来自专栏AI算法能力提高班
Multi-LoRA Composition | 无需训练的任意LoRA组合
Multi-LoRA Composition | 无需训练的任意LoRA组合 本文主要介绍无需训练的任意数量LORA的切换与组合方法，说人话就是“可以将每个Lora的特色合成到一张图像上，比如人物、服装 LoRA Switch (LoRA-S) 切换，训练中等间隔切换Lora 为了探索在每个去噪步骤中激活单个 LoRA，我们提出了 LoRA Switch。 LoRA Composite (LoRA-C) 组合，多个Lora元素组合为一个图像 为了探索在每个时间步合并所有 LoRA，而不合并权重矩阵，提出了 LoRA Composite。 04 LoRA模型类别 ComposLoRA 具有 22 个 LoRA 和 480 个不同的组合集，允许生成具有 2-5 个 LoRA 的任意组合的图像，包括至少一个字符 LoRA。 LORA SWITCH在每个去噪步骤中交替激活不同的LoRA，而LORA COMPOSITE同时结合所有LoRA以指导更连贯的图像合成。
1.9K10编辑于 2024-03-14 LoRa基站与LoRa网关：殊途同归的“连接者”
在 LoRaWAN 网络架构中，LoRa 基站和 LoRa 网关是两个常被提及的术语。很多人会疑惑：它们之间到底有什么区别？ 其实，从技术角度来说，LoRa 基站和 LoRa 网关在功能上是完全一致的，都是负责接收 LoRa 终端设备的数据，并将其转发到网络服务器（Network Server）。为什么会有两个不同的称呼？ 这种称呼上的差异主要源于不同的使用场景和语境：LoRa 网关（LoRa Gateway）这是一个更通用、更技术化的术语，强调设备在 LoRaWAN 网络中作为“网关”的作用，即连接终端设备与网络服务器之间的桥梁 LoRa 基站（LoRa Base Station）这个称呼更多出现在运营商或大规模广域网部署的语境中。 总结LoRa 基站和 LoRa 网关本质上是同一类设备，它们在 LoRaWAN 网络中承担着连接终端与网络服务器的关键角色。不同的称呼更多是基于部署规模和使用场景的习惯性表达。
44010编辑于 2025-09-24- 来自专栏DeepHub IMBA
使用LORA微调RoBERTa
一般来说我们只是使用LORA来微调大语言模型，但是其实只要是使用了Transformers块的模型，LORA都可以进行微调，本文将介绍如何利用PEFT库，使用LORA提高微调过程的效率。 但是，LORA会引入额外的超参数调优层(特定于LORA的秩、alpha等)。并且在某些情况下，性能不如完全微调的模型最优，这个需要根据不同的需求来进行测试。 首先我们安装需要的包： ! /results', evaluation_strategy='steps', learning_rate=5e-5, num_train_epochs=1, per_device_train_batch_size () peft_lora_finetuning_trainer = get_trainer(peft_model) peft_lora_finetuning_trainer.train() peft_lora_finetuning_trainer.evaluate() 可以看到 模型参数总计:125,537,288，而LORA模型的训练参数为:888,580，我们只需要用LORA训练~0.70%
91611编辑于 2024-02-21 LoRa 通信协议
LoRa 案例：土壤湿度监测 项目需求 通过 LoRa 通信协议，将土壤湿度传感器数据从一个 LoRa 节点发送到 LoRa 网关。 网关接收数据并通过串口显示。 LORA_SS 10 // LoRa 模块的 SS 引脚 #define LORA_RST 9 // LoRa 模块的 RESET 引脚 #define LORA_DIO0 Serial); pinMode(SOIL_SENSOR_PIN, INPUT); // 初始化 LoRa 模块 LoRa.setPins(LORA_SS, LORA_RST, LORA_DIO0 接收端（LoRa Gateway） #include <SPI.h> #include <LoRa.h> #define LORA_SS 10 // LoRa 模块的 SS 引脚 # Serial); // 初始化 LoRa 模块 LoRa.setPins(LORA_SS, LORA_RST, LORA_DIO0); if (!
99510编辑于 2025-08-29- 来自专栏物联网思考
LoRa连接到chirpstack
LoRa服务器有很多，今天聊聊ChirpStack，ChirpStack(https://www.chirpstack.io/)是一个开放源代码的的网络服务器，提供了丰富了应用API，用户可以部署在自己的服务器上 5、添加网关 ? 6、网关上线 ? 像我们单通道网关没有GPS，因此需要我们自己配置设置当前的经纬度。 7、创建应用 ? 8、添加设备 ? 这里DEVEUI要和设备保持一致。 9、配置设备 ?
2.4K20发布于 2021-01-08 - 来自专栏工程监测
DFP 数据转发协议应用实例 5.与其它厂商 LoRA 设备匹配
DFP 数据转发协议应用实例 5.与其它厂商 LoRA 设备匹配DFP 是什么？ DF 协议一般用于延长数字接口的传输距离（数据中继），它与硬件接口类型无关，可以基于 UART、 LoRA、TCP 等异步数据传输介质。 图片实例 5.与其它厂商 LoRA 设备匹配不同 LoRA 设备之间数据传输的必要条件是通讯参数完全一致，这些参数包括扩频因子 SF、编码率 CR、信道带宽 BW 以及中心频率 FRE（通道 CH）。 当要使用其它厂商的 LoRA 设备与 DLSx0 通讯时，必须先获取上述 4 个参数值，然后在 DLSx0 中修改对应寄存器即可。DLS 的中心频率设置，请详见“LoRA 频道与中心频率”。 如果其它 LoRA 设备发送数据时前导码时长小于 50mS，则 DLS 必须工作于实时接收工作模式。
42740编辑于 2022-11-24 - 来自专栏物联网思考
LoRa没有凉，工信部发话了，LoRa应该这么玩！
这份公告中与LoRa相关的主要是以下内容： ? LoRa工作在ISM频段，各个国家的ISM频段有所不同，国内主要是470-510M，也就是报告中关于民用计量仪表的相关内容。 并没有所谓的禁止使用LoRa，而是规范了LoRa的使用。 说到LoRa就不得不说NB-IoT。 LoRa构建物联网的优势在于，灵活组网，一次布网，永久免费使用，数据私密性强。 LoRa作为当下物联网的典型代表，一路走来是市场的选择。 从LoRa联盟官网（https://lora-alliance.org/）了解到，全球有超过140多个国家部署了LoRa网络。 与此同时，前一阵阿里向LoRa联盟提交的LoRaWAN中国地区的参数，已经获得了LoRa联盟的认可。
5.3K21发布于 2020-09-27 - 来自专栏人员定位
智慧展馆展厅5G+LoRa+蓝牙人员定位系统解决方案
方案概述新锐科创智慧展馆展厅人员定位系统方案采用蓝牙+LoRa融合定位技术，利用云计算、大数据、物联网、数据加密、高精度定位算法等多种高新技术建立多功能人员定位系统，该系统既有定位功能又有基于位置数据的服务功能 新锐科创智慧展馆展厅人员定位系统拓扑图系统原理 在该系统中，蓝牙信标周期性发送蓝牙广播信号，为人员定位提供参考位置信息；人员定位卡扫描并接收蓝牙信标的广播信息，并与LoRa网关进行通信；网关负责接收卡片发送的数据 ，并将数据通过4G/5G或网线传输给定位引擎；定位引擎对数据进行处理，计算出最终的人员位置；地图引擎和后台管理软件则负责展示和管理人员位置信息。 5、视频监控联动 可联动视频监控系统，针对展厅进行视频跟踪，随时随地观察每个区域的人流情况，方便进行管理。
54700编辑于 2023-08-31 - 来自专栏工程监测
DFP 数据转发协议应用实例 5.与其它厂商 LoRA 设备匹配
DFP 数据转发协议应用实例 5.与其它厂商 LoRA 设备匹配图片DFP 是什么？ DF 协议一般用于延长数字接口的传输距离（数据中继），它与硬件接口类型无关，可以基于 UART、 LoRA、TCP 等异步数据传输介质。 图片实例 5.与其它厂商 LoRA 设备匹配不同 LoRA 设备之间数据传输的必要条件是通讯参数完全一致，这些参数包括扩频因子 SF、编码率 CR、信道带宽 BW 以及中心频率 FRE（通道 CH）。 当要使用其它厂商的 LoRA 设备与 DLSx0 通讯时，必须先获取上述 4 个参数值，然后在 DLSx0 中修改对应寄存器即可。DLS 的中心频率设置，请详见“LoRA 频道与中心频率”。 如果其它 LoRA 设备发送数据时前导码时长小于 50mS，则 DLS 必须工作于实时接收工作模式。图片
45840编辑于 2022-11-03 - 来自专栏自然语言处理(NLP)论文速递
GSU | 提出VB-LoRA，仅需LoRA参数的0.4%，就超越了LoRA微调效果
但参数高效微调 (PEFT) 方法，比如LoRA及其变体会产生大量的参数存储和传输成本。 在对 Llama2-13B 模型进行微调时，VB-LoRA 仅使用了 LoRA 存储参数的 0.4%就超过了LoRA微调效果，可见实力强悍。 例如：低秩自适应 (LoRA)方法就是通过近似自注意力模块的累积梯度更新来实现矩阵参数的内部耦合；Tied-LoRA方法通过跨所有层的权重绑定来实现矩阵参数的跨层共享。 VB-LoRA 「LoRA局限性」 LoRA通过在模型的权重矩阵上添加低秩矩阵来调整模型参数，而不是更新整个权重矩阵。 对Llama2模型（7B和13B参数版本）进行微调，VB-LoRA在使用极少的存储参数（Llama2 7B为0.8M，Llama2 13B为1.1M）的情况下，实现了比LoRA更高的分数。
76010编辑于 2024-05-30 - 来自专栏个人博客
LoRA 笔记 - plus studio
LoRA[1]冻结预训练模型权重并将可训练的秩分解矩阵注入到 Transformer 架构的每一层中，大大减少了下游任务的可训练参数的数量。 与用 Adam 微调的 GPT-3 175B 相比，LoRA 可以将可训练参数的数量减少了 10,000 倍，GPU 内存需求减少了 3 倍。 你可能会想问，LoRA作为一个微调大语言模型和图文大模型的方法，关矩阵的秩什么事？ 为什么需要LoRA LoRA并不是第一个进行微调大模型的，从迁移学习开始有很多的尝试，以语言建模为例，在有效适应方面有两种突出的策略：添加适配器层或优化某种形式的输入层激活。 LoRA到底怎么工作 神经网络包含许多执行矩阵乘法的密集层。这些层中的权重矩阵通常具有满秩。
50610编辑于 2024-02-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号