- 综合排序
- 最热优先
- 最新优先
- 来自专栏第一专栏
LLM-TAP随笔——有监督微调【深度学习】【PyTorch】【LLM】
如下情感分类，续写情感极性： 5.2、高效微调 高效微调：在缩减训练参数量和GPU显存占用，同时使训练后的模型具有与全量微调相当的性能。 全量微调：微调全部参数需要相当高的算力。 5.3、模型上下文窗口扩展 上下文窗口：在自然语言处理中，LLM（Large Language Model，大型语言模型）的上下文窗口指的是模型在处理文本时所考虑的文本片段或单词的范围。 .,-2,-1,0]) m为坡度，取值为： \{\frac{1}{a} , \frac{1}{a^2},... .,-2,-1,0] 表示相对位置，取值：-（k索引[1,i] - q索引[i]） 插值法 RoPE位置插值： f’(x,m) = f(x,\frac{m}{L'})L 将更大的位置索引范围 [0,L′ 生成任务指令 手动构建175 seed tasks； 每次采样8个task 指令（人工6 + 迭代生成2）； 直到停止生成 || 达到模型长度限制。
70840编辑于 2023-09-26 - 来自专栏LLM应用开发实践笔记
LLM模型微调关键技术分享
是否希望深入探索 LLaMA 模型的微调技术，进一步优化参数和使用不同微调方式？现在笔者会带你领略大模型训练与微调进阶之路，拓展您的技术边界！ 假设模型参数量 Φ ，则共需要 2Φ+2Φ+(4Φ+4Φ+4Φ)=4Φ+12Φ=16Φ 字节存储。 到目前为止还都是单卡的场景，在多卡场景中，ZeRO-Offload 可以利用 ZeRO-2，将优化器状态和梯度进行切分，每张卡只保留，结合上 ZeRO-Offload 同样是将这的优化器状态和梯度卸载到内存 指令应该是 1 到 2 句话的长度。既可以是命令句，也可以是疑问句。 你应该为指令生成一个适当的输入，输入栏应包含为指令提供的具体例子。它应涉及真实的数据，不包含简单的占位符。 （微调）-LoRA 微调、训练（微调）-Ptuning 微调、结果评估的详细的讲解和代码实操，会在我们的课程中进行详细的阐述。
65310编辑于 2024-03-15 - 来自专栏自然语言处理
【LLM 论文阅读】NEFTU N E: LLM微调的免费午餐
指令微调的局限性 指令微调对于训练llm的能力至关重要，而模型的有用性在很大程度上取决于我们从小指令数据集中获得最大信息的能力。 当像LLaMA-2-7B这样的原始LLM被噪声嵌入所微调时，AlpacaEval从29.8%提高到64.7%（图1），令人印象深刻地提高了约35个百分点。 NEFTune可以实现在会话任务上惊人的性能跳跃，同时在事实问题回答基线上保持性能，这种技术似乎是LLM微调的免费午餐。 LLaMA-2 Chat进行微调（7B）可以将LLaMA-2聊天的性能提高3%。 然而，性能的提高没有全面微调的明显。这可能是因为需要不同的超参数（即微调周期的数量），或者因为量化到4位。 一个定性的例子 在这里，论文展示了一个来自LLaMA-2的含NEFT的羊驼的定性例子。
57110编辑于 2024-01-10 - 来自专栏ThoughtWorks
数据驱动与 LLM 微调: 打造 E2E 任务型对话 Agent
为了克服这些挑战，构建一个端到端（E2E）的模型显得尤为关键。E2E 的模型通过将对话的各个阶段集成到一个统一的框架中，极大地简化了系统架构，提高了处理效率，并减少了错误传递的可能性。 微调后的 LLM 需要根据槽位填充状态判断合适的触发功能调用（Function calling）的时机 微调后的 LLM 需要对根据上下文正确的识别到需要用于调用功能的关键信息 构造数据集 为了应对上述挑战 在基础模型的选择上，没有经过指令微调的 Base 模型和有过指令微调后的 Chat 模型（e.g., Qwen 1.5 和 ChatGLM3）都会被纳入选择范围。 图 2. 每个意图包含 2 至 3 个槽位，共生成了 6000 条左右的数据，覆盖了 5 个任务大部分用户状态变化路径，接下来将对微调训练的部分进行详细的介绍。 在 Agent 微调方面，准确率还有待进一步提高，因为是 E2E 的系统，整体的可控性和可解释性相对较差。
1.6K10编辑于 2024-05-30 - 来自专栏计算机工具
LLM前言：推理加速、模型微调对齐、开源LLM、Agent、多模态
LLM前言：推理加速、模型微调/对齐、开源LLM、Agent、多模态 推理加速 推理加速是AI技术中的关键环节，能让AI模型在实际应用中更智能、更高效。推理加速技术主要通过算法优化和硬件加速来实现。 模型微调/对齐 模型微调：在已有的预训练模型基础上，通过针对特定任务或行业需求做局部调整，以提升模型在特定领域或任务中的适用性和完成度。微调方法包括全参数微调（FFT）、参数高效微调（PeFT）等。 其中，LoRA微调是参数高效微调的一种流行方法，能提升参数调整效度，高效切换任务、减少推理延迟，并降低微调成本。 模型对齐：确保模型的行为、输出与人类的期望、目标和价值观保持一致的过程。 开源LLM 开源LLM（大型语言模型）是指公开源代码的大型语言模型，允许开发者自由使用、修改和分发。开源LLM的出现降低了AI技术的门槛，促进了AI技术的创新和发展。
40210编辑于 2024-12-14 - 来自专栏云云众生s
通过结合RAG和微调来改进LLM输出
在决定利用开源 LLM 之后，下一个障碍是选择满足我们需求的理想模型。当我们的项目去年启动时，我们选择了 Llama2 70B。 当时，Llama2 作为最强大的开源 LLM 脱颖而出，因为它提供了我们需要的广泛的通用性能。 自从我们选择 Llama2 以来，随着其他开放 LLM 的引入，格局已经发生了变化，例如 Mixtral 8x7B、DBRX 和 Grok-1.5。 微调就像参加闭卷考试。LLM 需要在微调过程中记忆新知识，并且它根据其记忆回答问题。 下表总结了这两种规范方法的优缺点。 下图显示了合并 RAG 和微调模型的整体工作流程。对于给定的用户问题，微调后的 LLM 会推测性地生成一个初始答案。然后使用此响应来获取相关文档。
73510编辑于 2024-05-02 - 来自专栏自然语言处理
【LLM系列之指令微调】长话短说大模型指令微调的“Prompt”
先说一些观点，假如我们在微调一个大模型，单次实验微调所用的指令微调数据集应该选取“质量高、多样性”,在训练资源充足的情况可以加入数量更多，长度更大的数据集。 可以基于多个质量比较高的数据，做一份格式统一的多样性数据用来做sft，一次性微调完比较好，多次微调效果可能会折扣。 或者有继续微调比较合适的方案也可以，不损失之前模型的效果（或者损失比较小），目前可以尝试Lora或者Qlora的方式微调底座模型，然后将训练好的Lora权重合并到原始模型，这样可以减轻多次微调对模型的影响 2 常见指令微调模板 通过观测一些排行榜靠前和主流指令微调数据集，笔者总结一些常见的指令微调的Prompt： 常见的是stanford_alpaca中模板 PROMPT_DICT = { "prompt_input /s>target2...
2.3K20编辑于 2023-08-26 - 来自专栏深度学习自然语言处理
每日论文速递 | 当缩放遇到LLM微调:数据、模型和微调方法的影响
基于1B到16 B两组预训练的双语LLM，以及在双语机器翻译和多语种摘要基准测试上的实验，我们发现：1）LLM微调遵循基于幂的乘法联合缩放律，即微调数据大小与彼此缩放因子之间的比例关系; 2）LLM微调从 LLM模型缩放中获得的收益大于预训练数据缩放，PET参数缩放通常无效;以及3）最优微调方法是高度任务和微调数据相关的。 微调对模型泛化能力的影响：研究微调是否会影响LLM在相关任务上的零样本（zero-shot）泛化能力。 通过这些研究，论文旨在为理解、选择和发展LLM微调方法提供见解。 Q2: 有哪些相关研究？ A：相关研究主要集中在以下几个领域： LLM微调（LLM Finetuning）：研究者们探索了在大型预训练模型上进行微调的方法，以提高特定任务的性能。 分析和比较：研究者们分析了LLM模型缩放、预训练数据缩放和PET参数缩放对微调性能的影响。他们发现LLM模型缩放对微调的益处大于预训练数据缩放，而PET参数缩放通常效果不佳。
95610编辑于 2024-03-02 - 来自专栏深度学习自然语言处理
一篇关于LLM指令微调的综述
指令微调的LLMs 这个小节将详细介绍通过指令微调训练的广泛使用的LLM模型。 GPT-4-LLM GPT-4-LLM(7B)是在GPT-4生成的指令数据集上通过微调LLaMA(7B)训练的语言模型。GPT-4-LLM使用LLaMA初始化，然后对构造的指令数据集进行监督微调。 ChatGLM2 ChatGLM2(6B)是在包含中英文指令的双语数据集上通过微调GLM(6B)训练的语言模型。双语指令数据集包含1.4T令牌，中英文比例为1:1。 InstructBLIP(1.2B) 是一个视觉语言指令调优框架，使用预训练的BLIP-2模型初始化，该模型由图像编码器、LLM和查询转换器(Q-Former)组成。 Zhou等人(2023)[2]假设预训练的LLM只需要学习与用户交互的风格或格式，并提出了LIMA，该LIMA通过仅在1,000个精心挑选的训练示例上对LLM进行微调来实现强大的性能。
8.1K41编辑于 2023-09-11 - 来自专栏人工智能
5 分钟搞懂 LLM 微调：从原理到实战
一、什么是微调微调（Fine-tuning）是指在一个已经预训练好的大语言模型基础上，用特定领域或任务的数据继续训练，让模型更好地适应具体需求。 打个比方，预训练模型像是一个读过海量书籍的通才，而微调就是让这个通才去某个专业领域进修，变成该领域的专家。二、为什么需要微调预训练模型虽然知识面广，但在具体场景下往往不够精准。 微调可以让模型学会这些特定的模式和知识，同时成本远低于从头训练一个模型。三、主流微调方法全参数微调（FullFine-tuning）：对模型所有参数进行更新。 、微调vs其他技术的对比与RAG（检索增强生成）对比RAG是让模型在回答时检索外部知识库，不改变模型本身；微调是改变模型参数。 与PromptEngineering对比提示工程是通过设计输入提示词来引导模型，不需要训练；微调需要训练但效果更稳定。简单任务用提示工程即可，复杂或高频任务适合微调。
31210编辑于 2026-02-12 - 来自专栏AI SPPECH
LLM微调技术：从LoRA到QLoRA的演进
在早期，LLM微调主要采用全参数微调方式，需要微调整个模型的所有参数。 在过去的一年中，GitHub上涌现出了许多优秀的参数高效微调技术和工具，如LoRA、QLoRA、Adapter等，这些技术和工具为LLM的广泛应用奠定了基础。 2. 促进生态发展：参数高效微调技术的发展促进了LLM生态的发展，推动了更多LLM应用的出现和普及。 支持边缘部署：参数高效微调技术支持在边缘设备上进行微调，拓展了LLM的应用场景。 未来，随着更高效的微调技术、自动化微调流程、多模态微调支持、联邦微调技术和动态微调技术的出现，LLM微调技术将进一步发展，推动LLM技术在更多领域的广泛应用。 GitHub - THUDM/P-tuning-v2: P-tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across
84420编辑于 2026-01-01 Agentic上下文工程真能杀死LLM微调？
可这就是当前AI训练的常态——每遇到新任务就得或多或少的"回炉重造"——微调（Fine-Tuning）。 尽管ACE展现出巨大潜力，但断言"微调已死"显然过于激进。 就像电动汽车不会立即淘汰燃油车一样，ACE和传统微调各有其适用场景。 对于需要深度领域适配、数据量充足且对模型性能要求极高的场景，传统微调仍有其不可替代的价值。 ACE的真正突破在于开创了AI训练的新范式——它让"持续学习"从概念变成了现实。 传统微调好比一次性投资，投入大、周期长、风险高；ACE则像是建立了一个"经验银行"，可以持续存入新的智慧，随时提取使用。这种范式转变对于需要快速响应市场变化的企业而言，其价值远超技术本身。 未来，ACE能否杀死微调并不重要，重要的是它一可能会促使更多领域开花结果。
13710编辑于 2026-02-02- 来自专栏深度学习思考者
大模型实战：使用 LoRA（低阶适应）微调 LLM
大模型实战：使用 LoRA（低阶适应）微调 LLM [1] 详细内容请参阅 MarkAI Blog [2] 更多资料及工程项目请关注 MarkAI Github [3] 通关感知算法面试请Star 2024年千道算法面试题综述 为什么需要LLM LLM 是一种基础模型，与传统模型不同，在早期模型中基础模型是在大量数据上进行预训练的，然后我们可以直接将它们用于某些任务用例，也可以对其进行微调以适应某些用例 大型语言模型 (LLM) 在客户服务、营销、法律、金融、医疗保健、教育等领域有着广泛的应用，而微调使我们能够使模型适应目标领域和目标任务，这就是 LLM 的微调之处。 一般来说，像卷积神经网络用于图像分类的神经网络并不完全微调，这样做很昂贵，可能导致灾难性遗忘。我们只微调最后一层或最后几层。 对于LLM，我们使用一种类似的方法，称为参数高效微调（PEFT）。 尽管可训练参数更少、训练吞吐量更高且无需额外推理，LoRA 在 RoBERTa、DeBERTa、GPT-2 和 GPT-3 上的模型质量表现与微调相当或更好延迟。
9.3K23编辑于 2023-12-19 - 来自专栏DeepHub IMBA
Google开源Tunix：JAX生态的LLM微调方案来了
JAX生态这两年在LLM训练这块追赶得挺快。PyTorch虽然还是主流但JAX在并行计算、TPU加速和API组合性上确实有些独特的优势。 Google今天放出了Tunix这个库，专门做LLM的后训练——微调、强化学习、知识蒸馏这些都能搞。 Tunix是什么 这是个构建在JAX之上的后训练库，和Flax NNX集成得比较紧密。 核心功能 监督微调：既支持全参数微调，也支持LoRA和Q-LoRA这类参数高效的方法。内存和算力受限的时候，PEFT方案还是挺实用的。 [dev]" TPU上用QLoRA微调Gemma 拿个英译法的任务来演示。用的是Google的Gemma 2B模型，跑在TPU v5e-8上。 TPU优先的设计、模块化的API、LoRA/QLoRA支持、完整的分布式训练策略，这些对做LLM适配研究的人来说都挺有用。 后续应该会继续扩展支持的模型类型和训练算法，值得关注。
23110编辑于 2025-11-15 - 来自专栏深度学习自然语言处理
斯坦福NLP提出EFT：如何不实际微调而“假装”微调了LLM?
举个例子，如果使用Llama-2系列模型，我们可以模拟在70B模型上预训练，并在7B模型进行微调的效果——我们只需要使用70B规模的Llama-2-base模型的对数概率，添加7B规模的Llama-2- Llama-2：实验使用Llama-2基础模型(7B和70B规模)和Llama-2-chat模型(7B和70B规模)。 Llama-2-chat模型结合了监督学习和人类反馈的强化学习从Llama-2基础模型中进行了微调。 推测解码使用小代理模型为LLM加速自回归生成，该模型可以自回归地提出一个令牌块，大模型然后可以并行检查。 我们将推测解码适应到EFT，发现推测EFT解码可以在放大Llama-2-7B-chat与Llama-2-70B-base时，加速采样近2.5倍，同时产生与正常自回归生成相同的样本。
75920编辑于 2023-10-24 - 来自专栏自然语言处理
【LLM训练系列04】手把手教你Qlora微调
2. make_supervised_data_module 函数 这个函数的作用是为有监督微调准备数据集，包括训练集和验证集。 make_supervised_data_module：加载和处理训练数据及验证数据，为有监督微调做好准备。 QLoRA 是什么 QLoRA 是一种高效的模型微调方法，特别适合在资源有限的情况下对大型语言模型（LLM）进行微调。 通过这一步，模型会引入一些额外的低秩矩阵，这些矩阵会在微调过程中被训练，而原始模型的参数保持不变。 参考资料 QwenLM/Qwen Qwen7b微调保姆级教程
61010编辑于 2024-12-21 - 来自专栏NewBeeNLP
如何高效微调你的 LLM
[2] Prefix Tuning: Prefix-Tuning: Optimizing Continuous Prompts for Generation[3], P-Tuning v2: Prompt GPT Understands, Too[5] Prompt Tuning: The Power of Scale for Parameter-Efficient Prompt Tuning[6] LLM-Adapters [7] 是对 PEFT 库的扩展，是一个简单易用的框架，将各种适配器集成到 LLM 中，可针对不同的任务执行 LLM 的基于适配器的 PEFT 方法，除了 PEFT 支持的 LoRA、Prefix Tuning P-Tuning V2 示例图 三. 展示了 WikiSQL 上的逻辑形式验证精度，MultiNLI-matched 上的精度，以及SAMSum上 的 Rouge-1/2/L 值。LoRA 比之前的方法表现更好，包括全量微调。
2.9K52编辑于 2023-08-29 - 来自专栏DeepHub IMBA
使用QLoRa微调Llama 2
上篇文章我们介绍了Llama 2的量化和部署，本篇文章将介绍使用PEFT库和QLoRa方法对Llama 27b预训练模型进行微调。我们将使用自定义数据集来构建情感分析模型。 因为在训练脚本时将使用它下载预训练的Llama 2模型和数据集。 最后就是请求访问Llama 2模型。等待Meta AI和HF的邮件。这可能要1-2天。 准备数据集 指令微调是一种常用技术，用于为特定的下游用例微调基本LLM。 训练 Parameter-Efficient Fine-Tuning(PEFT)可以用于在不触及LLM的所有参数的情况下对LLM进行有效的微调。 PEFT支持QLoRa方法，通过4位量化对LLM参数的一小部分进行微调。 Transformer Reinforcement Learning (TRL)是一个使用强化学习来训练语言模型的库。
90810编辑于 2023-08-30 - 来自专栏DeepHub IMBA
使用SPIN技术对LLM进行自我博弈微调训练
2024年是大型语言模型(llm)的快速发展的一年，对于大语言模型的训练一个重要的方法是对齐方法，它包括使用人类样本的监督微调(SFT)和依赖人类偏好的人类反馈强化学习(RLHF)。 这些方法在llm中发挥了至关重要的作用，但是对齐方法对人工注释数据有的大量需求。这一挑战使得微调成为一个充满活力的研究领域，研究人员积极致力于开发能够有效利用人类数据的方法。 但是这里就要求我们必须要有一个训练好的模型作为对手模型，所以SPIN算法只适合在训练结果上进行微调。 SPIN算法 SPIN从预训练的模型生成合成数据。然后使用这些合成数据对新任务上的模型进行微调。 他们用RMSProp优化器训练Zephyr-7B-SFT-Full，所有迭代都没有权重衰减，就像通常用于微调llm一样。全局批大小设置为64，使用bfloat16精度。 迭代0和1的峰值学习率设置为5e-7，迭代2和3的峰值学习率随着循环接近自播放微调的结束而衰减为1e-7。最后选择β = 0.1，最大序列长度设置为2048个标记。
96210编辑于 2024-01-18 - 来自专栏自然语言处理(NLP)论文速递
深入了解 大语言模型（LLM）微调方法（总结）
决定LLM是作为一个通用工具还是专注于特定任务（如命名实体识别）。明确的目标有助于节省时间和资源。 「2、模型选择」：在从头开始训练模型和修改现有模型之间做出选择。 LLM微调 LLM微调是一个将预训练模型在较小、特定数据集上进一步训练的过程，目的是精炼模型的能力，提高其在特定任务或领域上的性能。 例如，我们可以利用亚马逊产品评论的大量数据集，将其转化为微调的指令提示数据集。提示模板库包含了许多针对不同任务和不同数据集的模板。 「2、执行微调」 将数据集分为训练、验证和测试部分。 如下图所示 「2、全微调（FFT）」 即更新模型所有权重的过程，被称为全微调。这个过程会产生一个具有更新权重的新模型版本。 「2、任务特定微调」：任务特定微调是在特定任务或领域上，使用为该领域设计的数据集对预训练模型进行微调。这种方法比迁移学习需要更多的数据和时间，但可以在特定任务上获得更高的性能。
10.5K21编辑于 2024-02-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号