- 综合排序
- 最热优先
- 最新优先
- 来自专栏一点人工一点智能
全景解读 LLM 后训练技术
原文地址：https://zhuanlan.zhihu.com/p/30201040247 引言：从预训练到后训练 2023 年，当 ChatGPT 惊艳世界时，很多人第一次意识到：原来 AI 不仅能背课文 这些聪明表现的背后，得益于大语言模型（LLM）的两个关键训练阶段：预训练（Pretraining）和后训练（Post-training）。 ，我们沿用上述原论文给出的分类视角（taxonomy），从「微调」、「强化学习」、「测试时拓展」三个类别去认识各种后训练技术。 更新后的权重矩阵为： 由于r远小于d和k，因此 LoRA 只需要训练很少的参数，就可以达到与全参数微调相近的性能。 实践指南：如何选择后训练方案 6.1 决策流程图 6.2 工具链推荐
70610编辑于 2025-03-20 - 来自专栏机器之心
后训练时代如何延续Scaling Law？这是你该读的LLM后训练综述
机器之心报道 编辑：Panda 现如今，微调和强化学习等后训练技术已经成为提升 LLM 能力的重要关键。 LLM 的训练过程大致可分为两个阶段：预训练和后训练。 预训练阶段通常依赖在大规模语料库上的下一 token 预测目标，后训练阶段通常则包括多轮微调和对齐。 通过这些目标明确的后训练技术，LLM 可以更好地与人类意图和道德伦理要求对齐，最终提高其在现实世界中的适用性。下面总结了关键的后训练阶段。 LLM 中的监督微调 如图 2 所示，微调是 LLM 后训练配方的基本组成部分。 未来方向 最后，作者团队还收集了与 LLM 后训练方法相关的论文并分析了它们的趋势，如图 7 所示。
56200编辑于 2025-05-02 - 来自专栏机器学习算法与Python学习
Torch7模型训练
Torch7搭建卷积神经网络详细教程已经详细的介绍啦Module模块，这里再次基础上再给出一些上Container、 Transfer Functions Layers和 Simple Layers模块的理解 并在后面给出一些简单的模型训练方法。下述程序在itorch qtconsole下运行。 上一篇博文讲到Module主要有四个函数(详细见Torch7搭建卷积神经网络详细教程)，但是注意以下几点：forward函数的input必须和backward的函数的input一致，否则梯度更新会有问题 上述函数的具体使用方法可以看Torch7的官方API以及帮助文档。接下来仅介绍一些模型训练所需要的关键函数。 将image包导入当前运行环境，随机生成一张1通道32x32的彩色图像，如下 ? 执行完损失函数的前向操作后，再进行反向操作，backward()方法里面的参数同forward()函数里的参数，返回值是损失函数的梯度；调用神经网络net的backward()方法输入训练集和其对应的损失函数梯度
1K130发布于 2018-04-08 - 来自专栏AI科技评论
预训练后性能反而变差，自训练要取代预训练了吗？
使用以EfficientNet - B7为主干网络的RetinaNet目标检测器。图像的分辨率保持在640 x 640，金字塔等级为P3到P7，每个像素使用9个锚点。 使用EfficientNet-B7作为架构用于评估，对此模型，设置了两个不同的检查点，如下所示： 1）ImageNet：通过AutoAugment在检查点上训练EfficientNet-B7，在ImageNet 实验过程中，不仅会改变标记数据的大小，而且还使用不同增强强度的数据集，使用以EfficientNet-B7为主干网络的RetinaNe模型来进行训练。 我的看法：在ImageNet上训练的大多数模型都没有使用很高强度的增强方法。高强度增强数据后，模型可能无法正确收敛。实际上，模型有时可能会对增强过拟合，当然这还需要进行适当的细节研究。 2、增强和标记数据集大小对自训练的影响 作者使用相同的模型（使用带有EfficientNet-B7主干的RetinaNet检测器）和相同的任务（COCO数据集目标检测）来研究自训练的影响。
1.4K10发布于 2020-07-23 - 来自专栏自然语言处理
推理大模型的后训练增强技术-预训练篇
大模型训练技术概述 LLM训练的三个阶段 训练大型语言模型不是一个单一的过程，相反，它是一个多层的训练过程组合，每个过程都有其独特的作用，并对模型的性能做出贡献。 大模型预训练技术 大模型预训练简介 预训练是指在模型的初始阶段，使用大量数据对模型进行训练，以便让模型学习到通用的特征和知识。这些特征和知识可以是语言模型中的词嵌入，或者是图像识别模型中的视觉模式。 支持预训练、后训练、英语、中文等场景中的数据分析、清洗和合成。 支持数据模型协同开发，通过沙盒实验室实现快速迭代，提供反馈循环、可视化等功能，让您更好地理解和改进数据和模型。 现有的研究证明，预训练数据的数量和质量都对训练效果具有重大影响。 在获取充足的预训练数据后，数据质量直接决定了模型的实际性能。通过提升数据质量，语言模型就能展现出与更大规模模型相匹敌甚至更为优异的性能。
1.1K10编辑于 2025-03-08 - 来自专栏AI系统
【AI系统】训练后量化与部署
本文将会重点介绍训练后量化技术的两种方式：动态和静态方法，将模型权重和激活从浮点数转换为整数，以减少模型大小和加速推理。并以 KL 散度作为例子讲解校准方法和量化粒度控制来平衡模型精度和性能。 训练后量化的方式 训练后量化的方式主要分为动态和静态两种。 其核心是计算量化比例因子，使用静态量化后的模型进行预测，在此过程中量化模型的缩放因子会根据输入数据的分布进行调整。相比量化训练，静态离线量化不需要重新训练，可以快速得到量化模型。 目的就是改变量化域，实则就是改变真实的分布，并使得修改后得真实分布在量化后与量化前相对熵越小越好。 训练后量化的技巧 对权重使用每通道（per-channel）粒度，对激活使用每张量（per-tensor）粒度 权重张量在不同通道中的值分布差异很大，如果使用单一的缩放因子进行量化，可能会导致较大的精度损失
1.2K10编辑于 2024-12-06 - 来自专栏Python编程 pyqt matplotlib
模型训练好后 预测 numpy图片
神经网络训练好后，预测若干张图片（实际上是numpy 数组），可将numpy 数组转换成 size 为 (batch,channels, height, width), 类型为float 的 tersor 后，直接预测。 注意要手动将数据归一化，mean值和标准差 与 训练集的 transforms 的归一化参数一致。
51730编辑于 2022-11-18 - 来自专栏刷题笔记
【2020HBU天梯赛训练】7-7 装睡
7-7 装睡 你永远叫不醒一个装睡的人 —— 但是通过分析一个人的呼吸频率和脉搏，你可以发现谁在装睡！医生告诉我们，正常人睡眠时的呼吸频率是每分钟15-20次，脉搏是每分钟50-70次。
82130发布于 2020-06-23 - 来自专栏AI异构
AdaRound：训练后量化的自适应舍入
本文提出了 AdaRound，一种用于训练后量化的更好的权重舍入机制，它可以适应数据和任务损失。AdaRound 速度很快，不需要对网络进行微调，仅需要少量未标记的数据。 AdaRound 不仅比舍入取整有显著的提升，而且还为几种网络和任务上的训练后量化建立了新的最新技术。 在全面的研究中，表明 AdaRound 为几个网络和任务（包括 ResNet18，ResNet50，MobilenetV2，InceptionV3 和 DeeplabV3）提供了最新的训练后量化新技术。 这意味着在进行训练后量化时，通过仔细舍入权重，可以获得很多收益。本文的其余部分旨在设计一种有充分根据和计算效率的舍入机制。 ? 随机舍入与四舍五入对比 方法 在本节中，提出AdaRound，这是一种用于训练后量化的新舍入程序，在理论上是有充分根据的，并且在实践中显示出显着的性能改进。本文从理论上分析由于量化引起的损失。
2.8K11发布于 2021-03-09 - 来自专栏算法工程师的学习日志
Python基础训练100题-7
题目： 请输入星期几的第一个字母来判断一下是星期几，如果第一个字母一样，则继续判断第二个字母。
32330编辑于 2022-07-27 - 来自专栏又见苍岚
PyTorch 学习 -7- 训练和评估
训练完train样本后，生成的模型model要用来测试样本。在model(test)之前，需要加上model.eval()，否则的话，有输入数据，即使不训练，它也会改变权值。 训练流程 数据加载 我们前面在DataLoader构建完成后介绍了如何从中读取数据，在训练过程中使用类似的操作即可，区别在于此时要用for循环读取DataLoader中的全部数据。 具体来说，torch.tensor是autograd包的基础类，如果你设置tensor的requires_grads为True，就会开始跟踪这个tensor上面的所有运算，如果你做完运算后使用tensor.backward 是由模型的所有权重w经过一系列运算得到的，若某个w的requires_grads为True，则w的所有上层参数（后面层的权重w）的.grad_fn属性中就保存了对应的运算，然后在使用loss.backward()后， 125178716 文章链接： https://www.zywvvd.com/notes/study/deep-learning/pytorch/torch-learning/torch-learning-7/
61530编辑于 2023-07-24 - 来自专栏新智元
训练7万小时后，OpenAI的模型竟然学会在「我的世界」里刨木头
7岁小孩看10分钟就能学会 对于最简单的木镐，让人类玩家从头开始学过程并不太难。 一个死宅不到3分钟用单个视频就能教会下一个。 演示视频全长2分52秒 然而，钻石镐的制作就复杂多了。 不过即便如此，一个7岁小孩也只需看上十分钟的演示视频，就能学会了。 这个任务的难点，主要在如何挖到钻石矿。 在首届MineRL比赛结束之后，「7岁小孩看10分钟视频就学会，AI用了8百万步还搞不定」，可是上了Nature杂志的。 视频预训练模型——VPT 于是，VPT应运而出。 基础模型训练数据对微调的影响 在训练了70000个小时以后，OpenAI的行为克隆模型就能实现各种别的模型做不到的工作了。 模型学会了怎么砍树收集木头，怎么用木头做木条，怎么用木条做桌子。
89410编辑于 2022-06-27 - 来自专栏饶文津的专栏
「2017 Multi-University Training Contest 7」2017多校训练7
(r);i+=(d)) #define rep(i,l,r) for(int i=(l);i<(r);++(i)) #define add(x,y) x=(x+y)%M const ll M=1e9+7;
41720发布于 2020-06-02 - 来自专栏计算机视觉
训练神经网络的7个技巧
在本文中，您将了解在训练神经网络模型时如何充分利用反向传播算法的技巧和诀窍。 训练神经网络的挑战在训练数据集的新示例之间取得平衡； 七个具体的技巧，可帮助您更快地训练出更好的神经网络模型。 它将方差视为训练过程的函数，并在过拟合训练数据集和泛化误差之间取得平衡。 在训练初期，偏差较大，因为网络输出与期望函数相差很远。方差非常小，因为数据尚未产生太大的影响。 在训练后期，偏差较小，因为网络已经学到了基本函数。 然而，如果训练时间太长，网络还将学到特定数据集的噪声，这称为过度训练。在这种情况下，方差将很大，因为噪声在数据集之间变化。 这种方法可能是有效的，但如果在训练期间过度表示的示例是离群值，它也可能导致灾难。 选择信息内容最大的示例： 打乱训练集，使连续的训练示例永远（很少）不属于同一类别。 八、技巧7：选择学习率 学习率是模型权重在算法的每次迭代中更新的量。较小的学习率可能导致收敛较慢，但可能得到更好的结果，而较大的学习率可能导致更快的收敛，但可能得到不太理想的结果。
38910编辑于 2024-03-19 - 来自专栏reizhi
解决AHCI开启后win7蓝屏
而在一些XP机器上安装win7时，也可能因为忘记查看此项设置而将其留在了IDE模式。作为系统关键驱动之一，如果只是简单在BIOS中修改SATA模式将会导致系统蓝屏无法进入。 解决方案：在win7或者Vista系统上，微软直接提供了fix it程序修正。下载运行，按照提示操作，在重启后更改SATA至AHCI模式即可，不会发生蓝屏的现象。
2.2K20编辑于 2022-09-26 - 来自专栏深度学习自然语言处理
NLP的12种后BERT预训练方法
UNILM 7. CMLM 8. ELECTRA 9. SpanBERT 10. ALBERT 11. MT-DNN 12. XLENET 1. 构造多个无监督任务来学习词法、句法和语义的信息；且通过增量的方式进行多任务学习，引入新任务后，并不是只使用新的任务来训练，而是通过多任务学习同时学习之前的任务和新增加的任务，这样既要学习新的信息的同时也不能忘记老的信息 预训练了一个微调后可以同时用于自然语言理解和自然语言生成的下游任务模型，核心框架transformer，预训练和目标结合了以下三个： 单向语言模型(同ELMO/GPT)，在做attention时只能mask 可以同时看到两个方向的上下文 seq2seq语言模型，输入为两个片段S1和S2，encoder是双向的，decoder是单向的，仅能attention到一个反向的token以及encoder的token 7. 试图解决大部分预训练模型训练成本高，参数量巨大的问题。
1.4K10发布于 2020-02-24 - 来自专栏Linux
centos7停止更新后yum报错
release=7&arch=x86_64&repo=os&infra=stock error was 14: curl#7 - "Failed to connect to 2600:1f16:c1:5e01 :4180:6610:5482:c1c0: 网络不可达" 问题原因： 出现这个错误是因为使用的 CentOS 7 仓库已经被归档，当前的镜像地址无法找到所需的文件。 CentOS 7 的官方支持已经结束，部分仓库已被移至归档库。这导致了你的 yum 命令无法找到所需的元数据文件。CentOS 7 的官方仓库在 2024 年 6 月 30 日之后已经停止维护。 因此，使用最新的 CentOS 7 官方仓库可能会遇到问题。 yum.repos.d 之后依次执行： cp CentOS-Base.repo CentOS-Base.repo.backup > CentOS-Base.repo vi CentOS-Base.repo 进入后改为
1.3K00编辑于 2024-11-24 【大模型后训练专题】 LoRA微调原理及实现
LoRA 原理及实现前言✍ 在大模型后训练这条线里，大模型的参数量往往是几十亿、上百亿。 了解了为什么可以这么做后，我们来看一下LoRA在实际工程中是怎么实现的, 以 Transformer 里最常见的线性层为例：原始权重矩阵：W_0 \in \mathbb{R}^{d_{\text{out 2.2 LoRA Dropout在很多工程实现中，LoRA 会在A x 后加一个 dropout，例如：h_{\text{out}} = W_0 x + \frac{\alpha}{r} B(\text AutoModelForCausalLM, AutoTokenizerfrom peft import LoraConfig, get_peft_modelmodel_name = "Qwen/Qwen2-7B"tokenizer )trainer.train()# 7.
2.2K31编辑于 2025-11-27vmware安装centos7后没有网络
centos7首次在vmware安装好后没有网络，需要设置ONBOOT=yes具体步骤 su root cd /etc/sysconfig/network-scripts/ vi ifcfg-ens33
64710编辑于 2025-07-20- 来自专栏golang探索者
安装centos7后我做的操作
安装centos7后我做的操作 2018-1-1 最近又装了几次系统，想了想，还是把要做的事记下来吧。以后遇到坑的话，继续往里填。。。。。。。。 但是安装apache后，无法访问对应ip。 mycentos-name (重起生效) 6:修改ssh端口号：vim /etc/ssh/sshd_config 修改#port行端口 (重起生效 service sshd restart) 7:
81730发布于 2021-10-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号