全景解读 LLM 后训练技术

这些聪明表现的背后，得益于大语言模型（LLM）的两个关键训练阶段：预训练（Pretraining）和后训练（Post-training）。 ，我们沿用上述原论文给出的分类视角（taxonomy），从「微调」、「强化学习」、「测试时拓展」三个类别去认识各种后训练技术。 更新后的权重矩阵为： 由于r远小于d和k，因此 LoRA 只需要训练很少的参数，就可以达到与全参数微调相近的性能。 · 利用预训练知识：通过优化提示，引导模型利用预训练知识，从而减少对标注数据的依赖。 2）数学原理： 公式： 描述了可学习的提示向量。 实践指南：如何选择后训练方案 6.1 决策流程图 6.2 工具链推荐

后训练时代如何延续Scaling Law？这是你该读的LLM后训练综述

机器之心报道 编辑：Panda 现如今，微调和强化学习等后训练技术已经成为提升 LLM 能力的重要关键。 LLM 的训练过程大致可分为两个阶段：预训练和后训练。 预训练阶段通常依赖在大规模语料库上的下一 token 预测目标，后训练阶段通常则包括多轮微调和对齐。 通过这些目标明确的后训练技术，LLM 可以更好地与人类意图和道德伦理要求对齐，最终提高其在现实世界中的适用性。下面总结了关键的后训练阶段。 2、奖励模型（RM）训练：收集微调模型生成的输出并进行人工偏好标注。然后对奖励模型进行训练以复现这些基于标签的分数或排名，从而有效地学习将响应文本映射到标量值的连续奖励函数。 LLM 中的监督微调 如图 2 所示，微调是 LLM 后训练配方的基本组成部分。

预训练后性能反而变差，自训练要取代预训练了吗？

2）语义分割：使用 PASCAL VOC 2012分割训练集（1500张图片）进行监督学习下的语义分割训练。 此处的缩放等级与Augment-S2/S3相同。 ? 3、预训练 为了研究预训练的有效性，作者使用了ImageNet预训练的检查点。 我的看法：在ImageNet上训练的大多数模型都没有使用很高强度的增强方法。高强度增强数据后，模型可能无法正确收敛。实际上，模型有时可能会对增强过拟合，当然这还需要进行适当的细节研究。 2）自训练适用于各种不同大小的数据集，并且可以看作对预训练的补充：作者发现自训练另一个有趣的方面是，它可以作为预训练的补充。 2、联合训练 正如作者所言，自训练范式的优势之一是它可以联合监督和自训练目标进行训练，从而解决它们之间不匹配的问题。

推理大模型的后训练增强技术-预训练篇

阶段2：监督学习（Supervised Learning）：监督学习是机器学习中最常见的一种方法，其中模型通过带有标签的训练数据进行学习，目的是从输入数据和其对应的标签中找到映射关系。 支持预训练、后训练、英语、中文等场景中的数据分析、清洗和合成。 支持数据模型协同开发，通过沙盒实验室实现快速迭代，提供反馈循环、可视化等功能，让您更好地理解和改进数据和模型。 在获取充足的预训练数据后，数据质量直接决定了模型的实际性能。通过提升数据质量，语言模型就能展现出与更大规模模型相匹敌甚至更为优异的性能。 下面将以三种常见能力为例，介绍具体的数据课程在继续预训练中的应用： 代码能力： 为了提高模型的代码生成能力，研究人员基于 LLaMA-2 开发了 CodeLLaMA，采用的数据课程为：2T 通用词元 → 数学能力： Llemma 选择 CodeLLaMA 作为基座，进一步在包含论文、数学和代码的混合数据集合上进行继续预训练，采用的数据课程为：2T 通用词元 → 500B 代码相关词元 → 50∼200B

【AI系统】训练后量化与部署

本文将会重点介绍训练后量化技术的两种方式：动态和静态方法，将模型权重和激活从浮点数转换为整数，以减少模型大小和加速推理。并以 KL 散度作为例子讲解校准方法和量化粒度控制来平衡模型精度和性能。 训练后量化的方式 训练后量化的方式主要分为动态和静态两种。 其核心是计算量化比例因子，使用静态量化后的模型进行预测，在此过程中量化模型的缩放因子会根据输入数据的分布进行调整。相比量化训练，静态离线量化不需要重新训练，可以快速得到量化模型。 目的就是改变量化域，实则就是改变真实的分布，并使得修改后得真实分布在量化后与量化前相对熵越小越好。 训练后量化的技巧 对权重使用每通道（per-channel）粒度，对激活使用每张量（per-tensor）粒度 权重张量在不同通道中的值分布差异很大，如果使用单一的缩放因子进行量化，可能会导致较大的精度损失

模型训练好后 预测 numpy图片

神经网络训练好后，预测若干张图片（实际上是numpy 数组），可将numpy 数组转换成 size 为 (batch,channels, height, width), 类型为float 的 tersor 后，直接预测。 注意要手动将数据归一化，mean值和标准差 与 训练集的 transforms 的归一化参数一致。

Leetcode模块训练2

示例 2： 输入：nums = [3,2,4], target = 6 输出：[1,2] 示例 3： 输入：nums = [3,3], target = 6 输出：[0,1] 提示： 2 <= nums.length 示例 1： 输入：nums = [1,2,2,3,1] 输出：2 解释： 输入数组的度是 2 ，因为元素 1 和 2 的出现频数最大，均为 2 。 连续子数组里面拥有相同度的有如下所示： [1, 2, 2, 3, 1], [1, 2, 2, 3], [2, 2, 3, 1], [1, 2, 2], [2, 2, 3], [2, 2] 最短连续子数组 [2, 2] 的长度为 2 ，所以返回 2 。 示例 2： 输入：nums = [1,2,2,3,1,4,2] 输出：6 解释： 数组的度是 3 ，因为元素 2 重复出现 3 次。

​AdaRound：训练后量化的自适应舍入

本文提出了 AdaRound，一种用于训练后量化的更好的权重舍入机制，它可以适应数据和任务损失。AdaRound 速度很快，不需要对网络进行微调，仅需要少量未标记的数据。 AdaRound 不仅比舍入取整有显著的提升，而且还为几种网络和任务上的训练后量化建立了新的最新技术。 在全面的研究中，表明 AdaRound 为几个网络和任务（包括 ResNet18，ResNet50，MobilenetV2，InceptionV3 和 DeeplabV3）提供了最新的训练后量化新技术。 这意味着在进行训练后量化时，通过仔细舍入权重，可以获得很多收益。本文的其余部分旨在设计一种有充分根据和计算效率的舍入机制。 ? 随机舍入与四舍五入对比 方法 在本节中，提出AdaRound，这是一种用于训练后量化的新舍入程序，在理论上是有充分根据的，并且在实践中显示出显着的性能改进。本文从理论上分析由于量化引起的损失。

Facebook如何训练超大模型 --- (2)

[源码分析] Facebook如何训练超大模型 --- (2) 目录 [源码分析] Facebook如何训练超大模型 --- (2) 0x00 摘要 0x01 回顾 1.1 ZeRO 1.1.1 ZeRO 分布式训练 Parameter Sharding 之 Google Weight Sharding [源码分析] Facebook如何训练超大模型---(1) 0x01 回顾 1.1 ZeRO 我们首先回顾一下 深度模型训练之中，显存主要是被Model States 与 Activation 两部分所占用。 Model Parameter: 模型参数，即在训练过程中通过数据“学习”到的信息。 1.1.2 ZeRO-2 ZeRO-2会分割Optimizer States与Gradients。

fastText训练word2vec并用于训练任务

/fastText.git 然后make编译： make 编译后，将生成的fastText移到bin cp fasttext /usr/local/bin/ 训练word2vec 先讲语料分好词，比如保存到 sent_train.txt，文件内容是中文分词后的内容: 楚穆王 十二年 : （ 丁未 ， 公元前 614 年 ） ， 在位 12 年 的 楚穆王 死 ， 死后 葬 在 楚 郢 之西 。 开始调用fasttext训练： fasttext skipgram -input sent_train.txt -output . /result 很快就跑完了，跑完后，可以看到生成两个文件： # ll result.* -rw-r--r-- 1 root root 876945058 Nov 21 09:29 result.bin ','word2vec.npy') 训练模型 参考opennre的cnn分类代码： import torch import numpy as np import json import opennre

PCL安装后测试代码2

#include <iostream> #include <vector> #include <ctime> #include <pcl/point_cloud.h> #include <pcl/octree/octree.h> #include <boost/thread/thread.hpp> #include <pcl/visualization/pcl_visualizer.h> using namespace std; int main(int argc, char** argv) {     srand((unsigned int)time(NULL));     pcl::PointCloud<pcl::PointXYZ>::Ptr cloud(new pcl::PointCloud<pcl::PointXYZ>);     // 创建点云数据     cloud->width = 1000;     cloud->height = 1;     cloud->points.resize(cloud->width * cloud->height);     for (size_t i = 0; i < cloud->points.size(); ++i)     {         cloud->points[i].x = 1024.0f * rand() / (RAND_MAX + 1.0f);         cloud->points[i].y = 1024.0f * rand() / (RAND_MAX + 1.0f);         cloud->points[i].z = 1024.0f * rand() / (RAND_MAX + 1.0f);     }

GDAL安装后测试代码2

红队笔记 - 后渗透2

禁用AV/EDR产品在实践中绝不是一个好主意，最好的办法是绕过它。所有这些命令都需要本地管理权限。

NLP的12种后BERT预训练方法

在更长的句子上训练，动态更改mask的模式。 2. ERNIE 论文：Enhanced Representation through Knowledge Integration. 构造多个无监督任务来学习词法、句法和语义的信息；且通过增量的方式进行多任务学习，引入新任务后，并不是只使用新的任务来训练，而是通过多任务学习同时学习之前的任务和新增加的任务，这样既要学习新的信息的同时也不能忘记老的信息 预训练了一个微调后可以同时用于自然语言理解和自然语言生成的下游任务模型，核心框架transformer，预训练和目标结合了以下三个： 单向语言模型(同ELMO/GPT)，在做attention时只能mask 其中一个方向的上下文 双向语言模型(同BERT)，可以同时看到两个方向的上下文 seq2seq语言模型，输入为两个片段S1和S2，encoder是双向的，decoder是单向的，仅能attention到一个反向的 训练的方法主要是通过： (1)掩码连续随机跨度，而不是随机令牌。 (2)优化跨边界目标(SBO)，训练跨度边界表示以预测被屏蔽跨度的整个内容，而不依赖于其中的各个令牌表示。 ? 10.

【大模型后训练专题】 LoRA微调原理及实现

LoRA 原理及实现前言✍ 在大模型后训练这条线里，大模型的参数量往往是几十亿、上百亿。 1）预训练模型已经学到大部分通用能力，下游只需要“小幅度方向修正”，本身就低维；2）实证上，全参微调的权重差分 ΔW 做 SVD 会发现谱衰减很快，“有效秩”不高；3）LoRA 把更新限制在低秩子空间里 了解了为什么可以这么做后，我们来看一下LoRA在实际工程中是怎么实现的, 以 Transformer 里最常见的线性层为例：原始权重矩阵：W_0 \in \mathbb{R}^{d_{\text{out 因此，训练LoRA过程中仅仅需要学习极少的增量参数，实现接近全参微调的效果，并保持部署方式几乎不变 Q2：“为什么叫 Low-Rank？这个 low-rank 假设合理吗？” 2.2 LoRA Dropout在很多工程实现中，LoRA 会在A x 后加一个 dropout，例如：h_{\text{out}} = W_0 x + \frac{\alpha}{r} B(\text

【模型免训练高效集成】DINOv2 + SAM 2

【模型免训练高效集成】DINOv2 + SAM 2 当目标检测遇上图像分割，AI 视觉正迎来一场静悄悄的革命。 引言 在人工智能尤其是计算机视觉迅猛发展的当下，我们正见证着一个又一个技术奇迹的诞生。 DINOv2 带来了几个关键优势： 即插即用：无需额外训练，直接提取高质量特征 卓越泛化：在未见过的数据和任务上表现优异 多尺度理解：同时捕捉局部细节和全局上下文 高效推理：相比需要微调的模型，大大节省计算资源 ：无论是点、框、掩码还是文本描述，都能理解并作出反应 DINOv2 + SAM 2：免训练的完美组合 无缝集成架构 将 DINOv2 和 SAM 2 结合在一起的优势在于无需联合训练。 DINOv2 + SAM 2 的免训练特性让车辆能够快速适应新环境： 医疗影像：医生的AI助手 在医疗诊断中，这个组合展现出了巨大潜力： 快速适配：无需医疗数据训练即可处理各种影像 精准分割：对器官、病变区域进行精确勾勒 稳定可靠：避免过拟合和训练不稳定的风险

应急响应靶机训练-Linux2

abcdefg) 提交Webshell连接密码 提交数据包的flag1 提交攻击者使用的后续上传的木马文件名称 提交攻击者隐藏的flag2 提交攻击者隐藏的flag3 环境构建 下载靶机并使用VMware user-app-register 要么就是/version2.php 随后我们直接跟踪第一个数据报文： 我们在响应报文中发现了Linux内核版本以及当前用户名： 那么这里应该是执行了请求包中的某些命令 都有的一种代码，但是有的客户端会将这段编码或者加密，而蚁剑是明文——Network2020 第五问答 靶机的第五个问题是"提交数据包的flag1"，在这里我们继续对第二个数据包进行分析： 对请求包进行URL解码后发现最后一个是经过 为version2.php 第六问答 靶机的第六个问题是"提交攻击者隐藏的flag2"，我们随即在HTTP报文中过滤一下flag2，结果发现空空如也： 随机转战至操作系统层面进行排查，在这里我们直接检索一下历史命令记录 ： cat ~/.bash_history 随机看到有对文件的编辑： 从中得到flag2——$flag2 = "flag{bL5Frin6JVwVw7tJBdqXlHCMVpAenXI9In9}"; 第七问答

黑客技能训练之攻破VulnOS 2

最近迷上了国外的一个CTF训练网站，里面有很多国外的黑客打包好的系统（VulnOS）给安全爱好者们练习黑客技能。 爬行网站后发现后台：http://192.168.56.104/jabcd0cs/ 根据后台，我们发现这个了这个国外cms的名称 ? 我们到exploit-db搜索这个cms ? n_id=1&name=2&data=2020，我们想指定name参数进行注入 sqlmap -u “url” -p name sqlmap.py -u “http://192.168.56.104

18级个人训练赛--2

= v.second; if(d+w<dis[id2]){ dis[id2] = d+w; heap.push({dis[id2],id2}); } } } if(dis a = __gcd(a,x); } cout<<a<<endl; return 0; } G - Powerful Discount Tickets AtCoder 4864 思路:看完题后就是有票能打半折 m/2; flag2 = m-1; } else{ flag1 = m; flag2 = (m-1)/2; } cout <<(pow(num1,m,M)%M + pow(flag1,flag2,M)*num2 )%M<<endl; } M - AB Substrings AtCoder 5039 思路：这个，暴力吧，读懂题后就暴力 =0&&a[i][2]!

Python基础训练100题-2

# 递归实现 def Fib(n): return 1 if n<=2 else Fib(n-1)+Fib(n-2) print(Fib(int(input()))) # 朴素实现 target import copy a = [1,2,3,4,['a','b']] b = a# 赋值 c = a[:]# 浅拷贝 d = copy.copy(a)# 浅拷贝 e = copy.deepcopy for i in range(1,10): for j in range(1,i+1): print('%d*%d=%2ld '%(i,j,i*j),end='') print import time for i in range(4): print(str(int(time.time()))[-2:]) time.sleep(1) 实例010：给人看的时间 题目