- 综合排序
- 最热优先
- 最新优先
- 来自专栏一点人工一点智能
全景解读 LLM 后训练技术
这些聪明表现的背后，得益于大语言模型（LLM）的两个关键训练阶段：预训练（Pretraining）和后训练（Post-training）。 预训练阶段通过海量文本数据（通常达到 TB 级别）的自我监督学习，使模型··掌握基本的语言规律和世界知识。但仅有预训练的LLM，就好像刚学会六脉神剑的段誉，一身内功，但不会施展。 这类方法通常冻结预训练模型的大部分参数，只训练少量额外的参数。 2.2.1 LoRA 系列技术 低秩适配（LoRA） 的核心思想是冻结原始参数，通过低秩分解引入可训练参数。 · 利用预训练知识：通过优化提示，引导模型利用预训练知识，从而减少对标注数据的依赖。 2）数学原理： 公式： 描述了可学习的提示向量。 强化学习：从对齐到推理 3.1 LLM推理技术全景图 3.2 奖励建模 奖励建模（Reward Modeling） 是很多 RL 方法的关键步骤之一。
69310编辑于 2025-03-20 - 来自专栏计算机技术-参与活动
LLM高性能并行训练技术
LLM高性能并行训练技术### 研究背景与意义- **深度学习的重要性**：人工智能成为国际竞争焦点，深度学习是其核心技术，在众多领域取得突破，推动社会向智能化跃升。 单个 GPU 难以满足大规模模型训练需求，分布式训练面临通信和内存瓶颈。 相关技术与研究现状- **分布式训练 - **数据并行**：每个计算节点持有模型完整副本，处理小批量训练样本子集，通过 All - Reduce 或参数服务器架构实现全局梯度通信。 - **低精度训练**：用**低精度格式表示训练数据，降低内存占用提升性能**，但需引入误差补偿技术维持准确率。 混合并行训练策略 - **成本模型构建**：深入分析模型训练中层内（数据并行和模型并行）和层间（流水线并行）并行性，分别构**建前向计算与反向计算的成本模型**。
42221编辑于 2024-12-31 LLM 系列（五）：模型训练篇
0、引言 大语言模型（Large Language Model, LLM）的训练是人工智能领域最复杂、最资源密集的任务之一。 • 能力的源泉：模型的所有能力都来自于训练过程中对数据的学习和参数的优化 • 性能的决定因素：训练质量直接决定了模型在各种任务上的表现 • 成本的主要构成：训练成本占据了LLM开发总成本的70%以上 • 技术的核心壁垒：高效的训练技术是各大AI公司的核心竞争力 本文将从技术原理、实践方法、挑战难点等多个维度，全面解析LLM模型训练的核心技术。 1、LLM 训练基本流程 整体训练管道 阶段一：预训练（Pre-training） 核心目标 技术特点 1、学习通用语言表示2、掌握基础语言模式3、建立世界知识基础4、形成语言生成能力 1、自监督学习方式 训练 高（2倍参数量） AdamW Adam + 权重衰减解耦 主流LLM优化器 高 Lion 符号操作，内存友好 资源受限场景 中等 LOMO 低内存优化 消费级硬件训练 很低 数据处理技术 3、模型训练方案分析
1.5K20编辑于 2025-07-02- 来自专栏自然语言处理
【LLM训练系列03】关于大模型训练常见概念讲解
随着LLM学界和工业界日新月异的发展，不仅预训练所用的算力和数据正在疯狂内卷，后训练（post-training）的对齐和微调等方法也在不断更新。下面笔者根据资料整理一些关于大模型训练常见概念解释。 2 Post-training（后训练） 后训练是指在预训练模型的基础上，针对特定的任务或数据集进行额外的训练。 3 Continue Training（持续训练） 持续训练是指在模型已经进行了预训练和可能的后训练之后，继续在新数据上进行训练，以不断更新和改进模型的性能。 可能在模型部署后的任何阶段进行。 持续训练可以包含后训练作为其中的一个阶段。 持续训练是指在模型已经进行了预训练和可能的后训练之后，继续在新数据上进行训练，以不断更新和改进模型的性能。
2K11编辑于 2024-12-20 - 来自专栏自然语言处理
【LLM训练系列01】Qlora如何加载、训练、合并大模型
训练命令如下： ! （PreTrainedModel），以便进行 低比特（k-bit）量化训练 或其他特定情况下的训练。 这是低比特量化训练常见的步骤，用于只训练部分特定参数。 非量化模型处理： 如果模型未被量化，所有的非 INT8 参数（比如 FP16 或 BF16）都会被强制转换为 FP32。 这是为了确保数值稳定性，特别是在低精度下训练时。 此配置非常适合需要在低资源环境下进行高效训练的场景。
87010编辑于 2024-11-23 - 来自专栏第一专栏
LLM-TAP随笔——语言模型训练数据【深度学习】【PyTorch】【LLM】
3、语言模型训练数据 数据质量对模型影响非常大。 典型数据处理：质量过滤、冗余去除、隐私消除、词元切分等。 训练数据的构建时间、噪音或有害信息情况、数据重复率等因素都对模型性能有较大影响。 检查点是模型在训练或生成过程中的某个时间点的保存状态，通常包括模型的权重参数和其他相关信息，以便稍后能够重新加载模型并继续训练或进行推理。 通常，few-shot learning 指的是模型在少于常规训练所需数量的样本上进行训练。这可以包括几个样本（通常小于10个）或更多，但总体上比传统的大规模训练数据要少。 思维树(Tree of Thoughts, ToT)：ToT提示是一种允许复杂的、多步骤问题通过LLM来解决的方法。 人类反馈训练：人类反馈的强化学习（RLHF）
79350编辑于 2023-09-26 - 来自专栏NewBeeNLP
LLM 盛行，如何优雅地训练大模型？
因此在有限的算力条件下训练或推理一个百亿量级的大模型是不太现实的。因此，无疑要在训练和推理两个阶段采用一些优化策略来解决此类问题。 本篇博文主要整理一系列大模型在训练和推理两个阶段的优化技术，以满足我们在有限的计算资源的条件下训练自己的大模型，下面列出本文主要介绍的一些优化技术： 混合精度训练 ：FP16+FP32 或 BF16+ 参见原文：Transformer Math 101[1] 二、混合精度训练 混合精度训练是一个很常用的显存优化技术，其适用于单机单卡或多卡并行场景。 基于ZeRO在训练过程中的原理，有博主分享比较精妙的图，来源于[多图，秒懂]如何训练一个“万亿大模型”？[2]。 在训练时，只需要对红色部分的参数进行训练和梯度计算保存，因此大大降低了训练过程中的开销。
3.1K30编辑于 2023-09-01 从0开始训练自己的LLM（5）
准备完模型和训练数据后，我们可以开始计算损失函数，并开始训练。
11210编辑于 2026-03-18从0开始训练自己的LLM（2）
其核心优势在于并行计算和长距离依赖捕捉，成为大语言模型（LLM）的基石。而注意力机制是基石的基石。核心组件包括查询（Query）、键（Key）、值（Value）三个权重矩阵。 # In practice, this is not a problem since the LLM (chapters 4-7) ensures that inputs # In practice, this is not a problem since the LLM (chapters 4-7) ensures that inputs
10010编辑于 2026-03-18从0开始训练自己的LLM（4）
前面我们介绍了构建LLM的完整流程，现在我们将所有流程串接起来，并开始训练整个模型。 # In practice, this is not a problem since the LLM (chapters 4-7) ensures that inputs
8710编辑于 2026-03-18从0开始训练自己的LLM（6）
训练完后的模型如何给业务用呢？需要把模型的参数保存下来，给业务用，下次加载出来就可以了。 训练完模型后，我们使用训练好的模型来进行一次文本推理 inference_device = torch.device("cpu") model.to(inference_device) model.eval
10010编辑于 2026-03-18- 来自专栏NewBeeNLP
浅谈训练LLM的一些小技巧
655006628 后台留言『交流』，加入 NewBee算法讨论组 最近国产大模型一群神仙打架，各个榜刷的分越来越高了，聊一下基于1.3b的模型的一些实验结论，抛个砖希望对开源社区有帮助 一、LLama llama训练了 1T的token（更大的尺寸模型训练了1.4T），除此之外还需要模型结构和超参数配合才能继续训练这么长时间。 在一开始训练的时候，大部分的token对模型来说都是未知的，所以参数能快速的更新，但是训练的时间越久，每个batch都需要包含对模型来说陌生的多样化数据，所以batch size很大。 二、AliBi position encoding 最早的Transformer使用绝对位置编码，这意味着2048个位置都有自己的可训练向量。 之前尝试过使用别的方式代替可训练参数，效果也很好，说明这里可能确实不需要可训练参数。
1.2K20编辑于 2023-10-09 从0开始训练自己的LLM（3）
然后正则化，对模型输出的最终特征进行归一化处理，通过调整输入分布（均值为0，方差为1）加速收敛，提升模型训练稳定性。 max_new_tokens): # Crop current context if it exceeds the supported context size # E.g., if LLM 但是其中有一个问题还没有解决，那就是如何训练模型，得到模型参数。我们下一章进行分解。
10210编辑于 2026-03-18- 来自专栏自然语言处理
【LLM系列之Tokenizer】如何科学地训练一个LLM分词器
(3)词表中的低频词/稀疏词在模型训练过程中无法得到充分训练，进而模型不能充分理解这些词的语义。 ； 支持 BPE 和 UniLM 训练方法。 SentencePiece 由谷歌将一些词-语言模型相关的论文进行复现，开发了一个开源工具——训练自己领域的SentencePiece 模型，该模型可以代替预训练模型(BERT,XLNET)中词表的作用 LLM分词器 SentencePiece的核心参数如下： """ sentencepiece 参数 trainer_spec { input: data/corpus.txt input_format ，并且中文测试效果比较差，在做中文增量的时候，我们可以将自己在中文训练语料训练的分词模型和原版llama分词模型合并： #!
5.9K31编辑于 2023-08-25 - 来自专栏DeepHub IMBA
SAPO去中心化训练：多节点协作让LLM训练效率提升94%
大规模语言模型的后训练一直是个让人头疼的事情——要么资源不够，要么效率太低。SAPO提出了一种去中心化的异步RL方案，让各个计算节点之间可以互相分享rollouts，避开了传统并行化训练的各种瓶颈。 还有个很有趣的设定：节点不一定非要参与训练。你可以让人类专家或者其他非传统的生成器加入进来，只要输出格式兼容就行。 训练流程看起来是这样的：每轮训练中，节点先采样一批任务，生成对应的rollouts，然后把其中一部分（连同元数据和标准答案）分享给整个网络。 训练集构建完成后，用本地的奖励模型计算分数，再用PPO或GRPO这类策略梯度方法更新模型。整个过程循环往复。 比如Qwen2.5（0.5B参数），在175轮训练后的表现明显超过单机训练。但对于Qwen3（0.6B参数）这样的大模型，改善就不太明显了。
14510编辑于 2025-11-15 - 来自专栏DeepHub IMBA
LUMOS：基于开源LLM的可训练的代理框架
基于LLM的agent可以利用LLM对问题进行推理，制定解决问题的计划，然后利用各种工具执行复杂的任务。 LUMOS是一种通过统一、模块化和开源的、可训练的代理框架，包含一个学习高级子目标生成的规划模块，和一个经过训练的使用执行模块中的各种工具将这些子目标转换为动作的基础模块。 LUMOS的训练 LUMOS最主要的一个特点是他像模型那样是可以训练的，训练过程包括以下步骤: 1、训练数据生成 先前的工作利用self - instruction来综合训练任务和输入，并根据其创建的任务直接生成真值任务输出 但是种方法可能不适合为训练代理生成高质量的注释。 所以LUMOS将llm被用作“风格转移”工具，将现有基准中的真值推理步骤转换为LUMOS公式中的预期格式。 有了这些参考，llm可以根据给定的动作接口总结高级子目标并合成相应的动作。为llm提供了如何从推理步骤中提取高级子目标并将其映射为相应行动的示例。最后将注释组织成响应输出。
74010编辑于 2024-04-15 - 来自专栏自然语言处理
【LLM训练系列04】手把手教你Qlora微调
最终，这个函数会返回一个字典，包含训练集和验证集（如果有的话）。 QLoRA 是什么 QLoRA 是一种高效的模型微调方法，特别适合在资源有限的情况下对大型语言模型（LLM）进行微调。 相比于全参数微调（fine-tuning），LoRA 只需要训练少量的额外参数（低秩矩阵），而不是整个模型的参数。 这种方法不仅节省了内存和计算资源，还能显著加快训练速度。 加速训练： 由于只需要训练少量的低秩矩阵，而不是整个模型的参数，训练速度会显著加快。 （即在训练过程中会被更新的），以及有多少参数是不可训练的（即在训练过程中保持不变的）。
58710编辑于 2024-12-21 - 来自专栏机器之心
后训练时代如何延续Scaling Law？这是你该读的LLM后训练综述
机器之心报道 编辑：Panda 现如今，微调和强化学习等后训练技术已经成为提升 LLM 能力的重要关键。 这些问题表明，为了解决 LLM 输出中的可靠性、偏差和上下文敏感性问题，还需要专门的策略。 LLM 的训练过程大致可分为两个阶段：预训练和后训练。 通过这些目标明确的后训练技术，LLM 可以更好地与人类意图和道德伦理要求对齐，最终提高其在现实世界中的适用性。下面总结了关键的后训练阶段。 LLM 中的监督微调 如图 2 所示，微调是 LLM 后训练配方的基本组成部分。 LLM 后训练评估基准 为了评估 LLM 后训练阶段的表现，人们已经提出了很多涉及多个领域的基准： 推理 强化学习对齐 多语言评估 通用理解 对话和搜索 结构良好的评估框架可确保全面了解 LLM 在各种任务中的优势和局限性
54800编辑于 2025-05-02 - 来自专栏NLP/KG
人工智能LLM模型：奖励模型的训练、PPO 强化学习的训练、RLHF
人工智能LLM模型：奖励模型的训练、PPO 强化学习的训练、RLHF 1.奖励模型的训练 1.1大语言模型中奖励模型的概念 在大语言模型完成 SFT 监督微调后，下一阶段是构建一个奖励模型来对问答对作出得分评价 2.PPO 强化学习的训练 2.1 PPO 强化学习概念 大语言模型完成奖励模型的训练后，下一个阶段是训练强化学习模型（RL 模型），也是最后一个阶段。 由于 KL 散度是越小越好，而训练目标是损失函数越大越好，因此在前面需要加上一个负号。 预训练部分：预训练部分对应损失函数中的Ex∼Dpretrain[log(πϕRL(x))]。 这种训练方法也叫做 RLHF。 目前，RLHF 技术对训练大语言模型具有极大的影响力，训练出来的效果好于之前的方法。 强化学习、判别式模型 大语言模型训练中的PPO强化学习：1.在大语言模型训练中，强化学习模型架构与SFT监督微调的模型一样，2.RLHF中训练强化学习模型阶段不需要标注问题的答案 3.RLHF中的初始策略就是
2K00编辑于 2023-07-17 - 来自专栏DeepHub IMBA
使用SPIN技术对LLM进行自我博弈微调训练
2024年是大型语言模型(llm)的快速发展的一年，对于大语言模型的训练一个重要的方法是对齐方法，它包括使用人类样本的监督微调(SFT)和依赖人类偏好的人类反馈强化学习(RLHF)。 在这个游戏中: 主模型(新LLM) -这个代理的角色是学习如何区分由语言模型(LLM)生成的响应和由人类创建的响应。在每个迭代中，主模型是正在积极训练的LLM。其目标是提高其识别和区分反应的能力。 主模型的训练 为了训练主模型区分语言模型(LLM)和人类反应，SPIN使用了一个目标函数。这个函数测量真实数据和对手模型产生的反应之间的预期值差距。主模型的目标是最大化这一期望值差距。 在整个训练过程中，主模型调整其参数以最小化该损失函数。这个迭代过程一直持续下去，直到主模型能够熟练地有效区分LLM的反应和人类的反应。 听着有点乱，我们简单总结下： 训练的时候只有一个模型，但是将模型分为前一轮的模型（旧LLM/对手模型）和主模型（正在训练的），使用正在训练的模型的输出与上一轮模型的输出作为对比，来优化当前模型的训练。
96110编辑于 2024-01-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号