- 综合排序
- 最热优先
- 最新优先
- 来自专栏一点人工一点智能
全景解读 LLM 后训练技术
这些聪明表现的背后，得益于大语言模型（LLM）的两个关键训练阶段：预训练（Pretraining）和后训练（Post-training）。 预训练阶段通过海量文本数据（通常达到 TB 级别）的自我监督学习，使模型··掌握基本的语言规律和世界知识。但仅有预训练的LLM，就好像刚学会六脉神剑的段誉，一身内功，但不会施展。 这类方法通常冻结预训练模型的大部分参数，只训练少量额外的参数。 2.2.1 LoRA 系列技术 低秩适配（LoRA） 的核心思想是冻结原始参数，通过低秩分解引入可训练参数。 · 微调后 10% 的原因：这是一个经验性的选择，通常认为后几层更接近特定任务，因此微调这些层可以更好地适应领域数据。 · 需要实验验证：最佳的微调层数需要根据实际情况进行实验验证。 强化学习：从对齐到推理 3.1 LLM推理技术全景图 3.2 奖励建模 奖励建模（Reward Modeling） 是很多 RL 方法的关键步骤之一。
70310编辑于 2025-03-20 - 来自专栏计算机技术-参与活动
LLM高性能并行训练技术
LLM高性能并行训练技术### 研究背景与意义- **深度学习的重要性**：人工智能成为国际竞争焦点，深度学习是其核心技术，在众多领域取得突破，推动社会向智能化跃升。 单个 GPU 难以满足大规模模型训练需求，分布式训练面临通信和内存瓶颈。 相关技术与研究现状- **分布式训练 - **数据并行**：每个计算节点持有模型完整副本，处理小批量训练样本子集，通过 All - Reduce 或参数服务器架构实现全局梯度通信。 - **低精度训练**：用**低精度格式表示训练数据，降低内存占用提升性能**，但需引入误差补偿技术维持准确率。 混合并行训练策略 - **成本模型构建**：深入分析模型训练中层内（数据并行和模型并行）和层间（流水线并行）并行性，分别构**建前向计算与反向计算的成本模型**。
42521编辑于 2024-12-31 LLM 系列（五）：模型训练篇
0、引言 大语言模型（Large Language Model, LLM）的训练是人工智能领域最复杂、最资源密集的任务之一。 • 能力的源泉：模型的所有能力都来自于训练过程中对数据的学习和参数的优化 • 性能的决定因素：训练质量直接决定了模型在各种任务上的表现 • 成本的主要构成：训练成本占据了LLM开发总成本的70%以上 • 技术的核心壁垒：高效的训练技术是各大AI公司的核心竞争力 本文将从技术原理、实践方法、挑战难点等多个维度，全面解析LLM模型训练的核心技术。 1、LLM 训练基本流程 整体训练管道 阶段一：预训练（Pre-training） 核心目标 技术特点 1、学习通用语言表示2、掌握基础语言模式3、建立世界知识基础4、形成语言生成能力 1、自监督学习方式 训练 高（2倍参数量） AdamW Adam + 权重衰减解耦 主流LLM优化器 高 Lion 符号操作，内存友好 资源受限场景 中等 LOMO 低内存优化 消费级硬件训练 很低 数据处理技术 3、模型训练方案分析
1.5K30编辑于 2025-07-02- 来自专栏自然语言处理
【LLM训练系列03】关于大模型训练常见概念讲解
随着LLM学界和工业界日新月异的发展，不仅预训练所用的算力和数据正在疯狂内卷，后训练（post-training）的对齐和微调等方法也在不断更新。下面笔者根据资料整理一些关于大模型训练常见概念解释。 2 Post-training（后训练） 后训练是指在预训练模型的基础上，针对特定的任务或数据集进行额外的训练。 3 Continue Training（持续训练） 持续训练是指在模型已经进行了预训练和可能的后训练之后，继续在新数据上进行训练，以不断更新和改进模型的性能。 可能在模型部署后的任何阶段进行。 持续训练可以包含后训练作为其中的一个阶段。 持续训练是指在模型已经进行了预训练和可能的后训练之后，继续在新数据上进行训练，以不断更新和改进模型的性能。
2.1K11编辑于 2024-12-20 - 来自专栏自然语言处理
【LLM训练系列01】Qlora如何加载、训练、合并大模型
训练命令如下： ! evaluation_strategy "no" \ --save_strategy "steps" \ --save_steps 1000 \ --save_total_limit 10 （PreTrainedModel），以便进行 低比特（k-bit）量化训练 或其他特定情况下的训练。 这是为了确保数值稳定性，特别是在低精度下训练时。 此配置非常适合需要在低资源环境下进行高效训练的场景。
88210编辑于 2024-11-23 - 来自专栏第一专栏
LLM-TAP随笔——语言模型训练数据【深度学习】【PyTorch】【LLM】
3、语言模型训练数据 数据质量对模型影响非常大。 典型数据处理：质量过滤、冗余去除、隐私消除、词元切分等。 训练数据的构建时间、噪音或有害信息情况、数据重复率等因素都对模型性能有较大影响。 检查点是模型在训练或生成过程中的某个时间点的保存状态，通常包括模型的权重参数和其他相关信息，以便稍后能够重新加载模型并继续训练或进行推理。 通常，few-shot learning 指的是模型在少于常规训练所需数量的样本上进行训练。这可以包括几个样本（通常小于10个）或更多，但总体上比传统的大规模训练数据要少。 思维树(Tree of Thoughts, ToT)：ToT提示是一种允许复杂的、多步骤问题通过LLM来解决的方法。 人类反馈训练：人类反馈的强化学习（RLHF）
79750编辑于 2023-09-26 从0开始训练自己的LLM（5）
准备完模型和训练数据后，我们可以开始计算损失函数，并开始训练。
11710编辑于 2026-03-18- 来自专栏NewBeeNLP
LLM 盛行，如何优雅地训练大模型？
本篇博文主要整理一系列大模型在训练和推理两个阶段的优化技术，以满足我们在有限的计算资源的条件下训练自己的大模型，下面列出本文主要介绍的一些优化技术： 混合精度训练 ：FP16+FP32 或 BF16+ 基于ZeRO在训练过程中的原理，有博主分享比较精妙的图，来源于[多图，秒懂]如何训练一个“万亿大模型”？[2]。 在训练时，只需要对红色部分的参数进行训练和梯度计算保存，因此大大降低了训练过程中的开销。 接下来给出采用LoRA进行训练的案例，例如选择OPT-6.7B模型进行参数有效性训练时，可以借助HuggingFace PEFT 库实现： 原文Finetune_opt_bnb_peft[10] 使用 的部署推理原理和经验验证: https://zhuanlan.zhihu.com/p/509353790 [9] Int8量化-介绍（一）: https://zhuanlan.zhihu.com/p/58182172 [10
3.1K30编辑于 2023-09-01 从0开始训练自己的LLM（2）
其核心优势在于并行计算和长距离依赖捕捉，成为大语言模型（LLM）的基石。而注意力机制是基石的基石。核心组件包括查询（Query）、键（Key）、值（Value）三个权重矩阵。 # In practice, this is not a problem since the LLM (chapters 4-7) ensures that inputs # In practice, this is not a problem since the LLM (chapters 4-7) ensures that inputs
10110编辑于 2026-03-18从0开始训练自己的LLM（6）
训练完后的模型如何给业务用呢？需要把模型的参数保存下来，给业务用，下次加载出来就可以了。 训练完模型后，我们使用训练好的模型来进行一次文本推理 inference_device = torch.device("cpu") model.to(inference_device) model.eval
10110编辑于 2026-03-18- 来自专栏NewBeeNLP
浅谈训练LLM的一些小技巧
1T的token（更大的尺寸模型训练了1.4T），除此之外还需要模型结构和超参数配合才能继续训练这么长时间。 在一开始训练的时候，大部分的token对模型来说都是未知的，所以参数能快速的更新，但是训练的时间越久，每个batch都需要包含对模型来说陌生的多样化数据，所以batch size很大。 二、AliBi position encoding 最早的Transformer使用绝对位置编码，这意味着2048个位置都有自己的可训练向量。 之前尝试过使用别的方式代替可训练参数，效果也很好，说明这里可能确实不需要可训练参数。 adam从2014年提出出来，已经统治了深度学习快10年了。。 开源代码现成的，可以参考 https://github.com/lucidrains/lion-pytorch。
1.2K20编辑于 2023-10-09 从0开始训练自己的LLM（4）
前面我们介绍了构建LLM的完整流程，现在我们将所有流程串接起来，并开始训练整个模型。 # In practice, this is not a problem since the LLM (chapters 4-7) ensures that inputs
9210编辑于 2026-03-18从0开始训练自己的LLM（3）
然后正则化，对模型输出的最终特征进行归一化处理，通过调整输入分布（均值为0，方差为1）加速收敛，提升模型训练稳定性。 max_new_tokens): # Crop current context if it exceeds the supported context size # E.g., if LLM supports only 5 tokens, and the context size is 10 # then only the last 5 tokens are used as Output: tensor([[15496, 11, 314, 716, 27018, 24086, 47843, 30961, 42348, 7267]]) Output length: 10 但是其中有一个问题还没有解决，那就是如何训练模型，得到模型参数。我们下一章进行分解。
10310编辑于 2026-03-18- 来自专栏自然语言处理
【LLM系列之Tokenizer】如何科学地训练一个LLM分词器
(3)词表中的低频词/稀疏词在模型训练过程中无法得到充分训练，进而模型不能充分理解这些词的语义。 ； 支持 BPE 和 UniLM 训练方法。 SentencePiece 由谷歌将一些词-语言模型相关的论文进行复现，开发了一个开源工具——训练自己领域的SentencePiece 模型，该模型可以代替预训练模型(BERT,XLNET)中词表的作用 LLM分词器 SentencePiece的核心参数如下： """ sentencepiece 参数 trainer_spec { input: data/corpus.txt input_format ，并且中文测试效果比较差，在做中文增量的时候，我们可以将自己在中文训练语料训练的分词模型和原版llama分词模型合并： #!
5.9K31编辑于 2023-08-25 - 来自专栏DeepHub IMBA
SAPO去中心化训练：多节点协作让LLM训练效率提升94%
大规模语言模型的后训练一直是个让人头疼的事情——要么资源不够，要么效率太低。SAPO提出了一种去中心化的异步RL方案，让各个计算节点之间可以互相分享rollouts，避开了传统并行化训练的各种瓶颈。 还有个很有趣的设定：节点不一定非要参与训练。你可以让人类专家或者其他非传统的生成器加入进来，只要输出格式兼容就行。 训练流程看起来是这样的：每轮训练中，节点先采样一批任务，生成对应的rollouts，然后把其中一部分（连同元数据和标准答案）分享给整个网络。 训练集构建完成后，用本地的奖励模型计算分数，再用PPO或GRPO这类策略梯度方法更新模型。整个过程循环往复。 比如Qwen2.5（0.5B参数），在175轮训练后的表现明显超过单机训练。但对于Qwen3（0.6B参数）这样的大模型，改善就不太明显了。
15010编辑于 2025-11-15 - 来自专栏DeepHub IMBA
LUMOS：基于开源LLM的可训练的代理框架
基于LLM的agent可以利用LLM对问题进行推理，制定解决问题的计划，然后利用各种工具执行复杂的任务。 但是种方法可能不适合为训练代理生成高质量的注释。 所以LUMOS将llm被用作“风格转移”工具，将现有基准中的真值推理步骤转换为LUMOS公式中的预期格式。 有了这些参考，llm可以根据给定的动作接口总结高级子目标并合成相应的动作。为llm提供了如何从推理步骤中提取高级子目标并将其映射为相应行动的示例。最后将注释组织成响应输出。 在跨四种训练任务类型的组合注释上训练时，评估LUMOS在未见任务上的性能；WebShop[9]和InterCodeSQL[10]等看不见的任务上测试泛化能力。 在平均奖励上优于WebShop[9]，在成功率上优于InterCodeSQL[10]。 总结 LUMOS在9个数据集上的表现优于各种开源代理。它在QA和web任务上的表现甚至比GPT代理更好。
74610编辑于 2024-04-15 - 来自专栏自然语言处理(NLP)论文速递
分享10篇优秀论文，涉及LLM对齐、LLM评估、LLM隐私、RAG增强等热门话题！
今天继续给大家分享10篇最新论文，其中涉及大模型幻觉、大模型对齐、大模型剪枝、大模型隐私、大模型毒性、大模型评估、RAG能力增强、Transformer架构优化等热门研究方向。 在六项任务的评估结果中表明，SELF-RAG 优于经过预训练和指令调整的 LLM，包括那些具有更多参数的 LLM。 、 大模型剪枝 https://arxiv.org/pdf/2310.06694.pdf 「本文介绍了一种通过结构化剪枝开发更小但更强大的大型语言模型 (LLM) 的创新方法」，这是从头开始训练模型的一种经济高效的替代方案 该方法称为LLM-shearing，采用两个关键策略。 有针对性的结构化修剪：这种新颖的算法将更大的预训练模型修剪到指定的目标架构，有效地删除冗余组件，例如层、头和维度。 大模型隐私 https://arxiv.org/pdf/2310.16111.pdf 得益于大量的训练数据和LLM的推理能力，机器模型能够根据作者特有的语言风格来识别文章的作者。
1.1K10编辑于 2024-01-31 - 来自专栏自然语言处理
【LLM训练系列04】手把手教你Qlora微调
在一个碗里放入切好的鸡腿肉块，加入酱油、料酒和适量的白胡椒粉，搅拌均匀，腌制10分钟。\n2. 热锅凉油，加入姜丝翻炒，放入腌好的鸡肉块翻炒至变色。\n3. gomate-0', logging_strategy=<IntervalStrategy.STEPS: 'steps'>, logging_first_step=False, logging_steps=10 QLoRA 是什么 QLoRA 是一种高效的模型微调方法，特别适合在资源有限的情况下对大型语言模型（LLM）进行微调。 加速训练： 由于只需要训练少量的低秩矩阵，而不是整个模型的参数，训练速度会显著加快。 （即在训练过程中会被更新的），以及有多少参数是不可训练的（即在训练过程中保持不变的）。
61010编辑于 2024-12-21 - 来自专栏量子位
英伟达发布ChatGPT专用GPU，性能提升10倍，还推出云服务，普通企业也能训练LLM
在GTC2023大会上，黄仁勋接连放出大招： 不仅发布了ChatGPT专用GPU，比之前就能实时处理ChatGPT的HGX A100快了10倍； 还公布了其在芯片领域的进展，推出了新的cuLitho软件库 性能的话，老黄形象地做了个对比： 相较于目前唯一可以实时处理ChatGPT的HGX A100，一台搭载四对H100和双NVLINK的标准服务器能将速度提升10倍，并且还可以将大语言模型的处理成本降低一个数量级 L40则是用在图像生成上的GPU，它能对AI生成2D、3D图像进行优化，相较于英伟达的云推理GPU T4，性能提升了10倍。 普通企业也能训练LLM。 也就是说，想要训练像ChatGPT的大语言模型，可以直接在网络上租赁DGX云服务，这样一来客户就能将英伟达DGX AI超级计算机实时接入公司。 而直接购买一个实体DGX服务器，就要花费20万美元，并且微软当时为了训练新必应也是斥资数亿美元购买了数万块A100芯片。
79840编辑于 2023-03-23 - 来自专栏自然语言处理(NLP)论文速递
代码增强LLM！UIUC | 概述将代码数据加入LLM训练数据中的各种好处
更多干货，第一时间送达 大模型时代的语言模型（LLM）不仅在尺寸上变得更大了，而且训练数据也同时包含了自然语言和形式语言（代码）。 最近，来自伊利诺伊大学香槟分校的研究团队发布了一篇综述报告，概述了将代码集成到LLM训练数据中的各种好处。 代码预训练提升LLM性能 以OpenAI的GPT Codex 为例，对 LLM 进行代码预训练后，可以扩大LLM的任务范围，除了自然语言处理外，模型还可以为数学理论生成代码、执行通用编程任务、数据检索等 在预训练中利用和嵌入代码的这两种特性，可以提高LLM思维链（CoT）技术在传统自然语言下游任务中的性能，表明代码训练能够提高LLM进行复杂推理的能力。 在下一步的研究工作中，重要的是要研究在训练数据中加强认识：这些代码属性是否真的可以增强训练的LLMs的推理能力。
80510编辑于 2024-01-31
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号