- 综合排序
- 最热优先
- 最新优先
- 来自专栏python3
升级 Xcode 11 后 Revea
分析 提示问题很明显 python 代码报错 Xcode 11 升级了 Python 由 2.7 -> 3 查看 RevealServerCommands.py 定位到底 36 行 代码subcommands.iteritems
87520发布于 2020-01-02 - 来自专栏一点人工一点智能
全景解读 LLM 后训练技术
原文地址：https://zhuanlan.zhihu.com/p/30201040247 引言：从预训练到后训练 2023 年，当 ChatGPT 惊艳世界时，很多人第一次意识到：原来 AI 不仅能背课文 这些聪明表现的背后，得益于大语言模型（LLM）的两个关键训练阶段：预训练（Pretraining）和后训练（Post-training）。 ，我们沿用上述原论文给出的分类视角（taxonomy），从「微调」、「强化学习」、「测试时拓展」三个类别去认识各种后训练技术。 更新后的权重矩阵为： 由于r远小于d和k，因此 LoRA 只需要训练很少的参数，就可以达到与全参数微调相近的性能。 实践指南：如何选择后训练方案 6.1 决策流程图 6.2 工具链推荐
70610编辑于 2025-03-20 - 来自专栏机器之心
后训练时代如何延续Scaling Law？这是你该读的LLM后训练综述
机器之心报道 编辑：Panda 现如今，微调和强化学习等后训练技术已经成为提升 LLM 能力的重要关键。 LLM 的训练过程大致可分为两个阶段：预训练和后训练。 预训练阶段通常依赖在大规模语料库上的下一 token 预测目标，后训练阶段通常则包括多轮微调和对齐。 通过这些目标明确的后训练技术，LLM 可以更好地与人类意图和道德伦理要求对齐，最终提高其在现实世界中的适用性。下面总结了关键的后训练阶段。 LLM 中的监督微调 如图 2 所示，微调是 LLM 后训练配方的基本组成部分。 LLM 后训练评估基准 为了评估 LLM 后训练阶段的表现，人们已经提出了很多涉及多个领域的基准： 推理 强化学习对齐 多语言评估 通用理解 对话和搜索 结构良好的评估框架可确保全面了解 LLM 在各种任务中的优势和局限性
56200编辑于 2025-05-02 - 来自专栏AI科技评论
预训练后性能反而变差，自训练要取代预训练了吗？
自训练适用不同规模数据集和不同强度增强数据的训练； 3、自训练并且可以看作对预训练的补充，联合预训练和自训练可以获得更大的增益。 2 研究动机 作者希望能解决以下问题： 预训练对训练结果有多大程度的帮助？什么情况下使用预训练是无效的？ 与预训练相比，我们可以使用自训练并获得相似或更好的结果吗？ 如果自训练优于预训练（暂做这样的假设），那它在多大的程度上比预训练好？ 在什么情况下自训练比预训练更好？ 自训练的灵活性和可扩展性如何？ 我的看法：在ImageNet上训练的大多数模型都没有使用很高强度的增强方法。高强度增强数据后，模型可能无法正确收敛。实际上，模型有时可能会对增强过拟合，当然这还需要进行适当的细节研究。 3、自监督预训练 vs 自训练 有监督的 ImageNet预训练会损害最大规模数据集和高强度数据增强下的训练效果。但是自监督的预训练呢？
1.4K10发布于 2020-07-23 - 来自专栏自然语言处理
推理大模型的后训练增强技术-预训练篇
大模型训练技术概述 LLM训练的三个阶段 训练大型语言模型不是一个单一的过程，相反，它是一个多层的训练过程组合，每个过程都有其独特的作用，并对模型的性能做出贡献。 大模型预训练技术 大模型预训练简介 预训练是指在模型的初始阶段，使用大量数据对模型进行训练，以便让模型学习到通用的特征和知识。这些特征和知识可以是语言模型中的词嵌入，或者是图像识别模型中的视觉模式。 支持预训练、后训练、英语、中文等场景中的数据分析、清洗和合成。 支持数据模型协同开发，通过沙盒实验室实现快速迭代，提供反馈循环、可视化等功能，让您更好地理解和改进数据和模型。 现有的研究证明，预训练数据的数量和质量都对训练效果具有重大影响。 在获取充足的预训练数据后，数据质量直接决定了模型的实际性能。通过提升数据质量，语言模型就能展现出与更大规模模型相匹敌甚至更为优异的性能。
1.1K10编辑于 2025-03-08 - 来自专栏AI系统
【AI系统】训练后量化与部署
本文将会重点介绍训练后量化技术的两种方式：动态和静态方法，将模型权重和激活从浮点数转换为整数，以减少模型大小和加速推理。并以 KL 散度作为例子讲解校准方法和量化粒度控制来平衡模型精度和性能。 训练后量化的方式 训练后量化的方式主要分为动态和静态两种。 其核心是计算量化比例因子，使用静态量化后的模型进行预测，在此过程中量化模型的缩放因子会根据输入数据的分布进行调整。相比量化训练，静态离线量化不需要重新训练，可以快速得到量化模型。 目的就是改变量化域，实则就是改变真实的分布，并使得修改后得真实分布在量化后与量化前相对熵越小越好。 训练后量化的技巧 对权重使用每通道（per-channel）粒度，对激活使用每张量（per-tensor）粒度 权重张量在不同通道中的值分布差异很大，如果使用单一的缩放因子进行量化，可能会导致较大的精度损失
1.2K10编辑于 2024-12-06 - 来自专栏Python编程 pyqt matplotlib
模型训练好后 预测 numpy图片
神经网络训练好后，预测若干张图片（实际上是numpy 数组），可将numpy 数组转换成 size 为 (batch,channels, height, width), 类型为float 的 tersor 后，直接预测。 注意要手动将数据归一化，mean值和标准差 与 训练集的 transforms 的归一化参数一致。
51730编辑于 2022-11-18 - 来自专栏算法工程师的学习日志
Python基础训练100题-11
分享一些Python学习题目 实例051：按位与 实例052：按位或 实例053：按位异或 实例054：位取反、位移动 实例055：按位取反 实例051：按位与 题目：学习使用按位与 & 。 程序分析：0&0=0; 0&1=0; 1&0=0; 1&1=1。 a=0o77 print(a) b=a&3 print(b) b=b&7 print(b) 实例052：按位或 题目：学习使用按位或 | 。 程序分析：0|0=0; 0|1=1; 1|0=1; 1|1=1 a=0o77 print(a|3) print(
26320编辑于 2022-07-27 yolo11安装后测试代码
训练模型： from ultralytics import YOLO # Load a pretrained YOLO11n model model = YOLO("yolo11n.pt") # Train to run on (e.g., 'cpu', 0, [0,1,2,3]) ) 评估模型： from ultralytics import YOLO # Load a pretrained YOLO11n model model = YOLO("yolo11n.pt") # Evaluate the model's performance on the validation set metrics = model.val() 预测图片： from ultralytics import YOLO # Load a pretrained YOLO11n model model = YOLO("yolo11n.pt model model = YOLO("yolo11n.pt") # Export the model to ONNX format for deployment path = model.export
19500编辑于 2025-07-17- 来自专栏橙、
【自用】Win 11 安装后细节调整
本文以笔记的形式进行内容的收集整理，方便日后查阅，不介绍相关知识，不进行任何推荐，不解释也不回答任何疑问，内容来源主要为互联网和官方说明，如果你想要学习或者了解啥，真的很抱歉，这篇文章不适合你。
51710编辑于 2023-04-02 - 来自专栏AI异构
AdaRound：训练后量化的自适应舍入
本文提出了 AdaRound，一种用于训练后量化的更好的权重舍入机制，它可以适应数据和任务损失。AdaRound 速度很快，不需要对网络进行微调，仅需要少量未标记的数据。 AdaRound 不仅比舍入取整有显著的提升，而且还为几种网络和任务上的训练后量化建立了新的最新技术。 这意味着在进行训练后量化时，通过仔细舍入权重，可以获得很多收益。本文的其余部分旨在设计一种有充分根据和计算效率的舍入机制。 ? 随机舍入与四舍五入对比 方法 在本节中，提出AdaRound，这是一种用于训练后量化的新舍入程序，在理论上是有充分根据的，并且在实践中显示出显着的性能改进。本文从理论上分析由于量化引起的损失。 这种优化方法（11）是用于二进制约束优化问题的 Hopfield 方法通用系列的特定实例。这些类型的方法通常用作大规模组合问题的有效逼近算法。 为了量化整个模型，我们逐层优化（11）。
2.8K11发布于 2021-03-09 - 来自专栏梧雨北辰的开发录
iOS11后32位应用升级
今天接受了一个改造旧项目的任务，据说项目唯独在iOS11上无法运行。这很容易就让我们想到与最近苹果iOS11放弃支持32位应用的事件有关。 一、iOS11停止支持32位的来由 苹果于2013年9月推出了iPhone 5S新手机，采用的全新A7处理器其最大特色就是支持64位运算。 2018年1月1日开始，苹果在iOS 11系统上停止了32位应用程序的服务支持，使用iOS11系统的用户将无法再在Appstore中搜索到32位应用。
1.1K30发布于 2018-04-24 - 来自专栏和蔼的张星的图像处理专栏
11.YOLOV3训练检测拾遗。
训练配置以及检测我在上一篇文章里已经写过了，这里主要写一下可能会遇到的一些问题及解决方案。 这里面要做的许多事情别人都已经是做过了的，我做一下总结而已。 1. 保存训练日志以及训练日志可视化。 1.1.保存训练日志。 训练日志就是训练的时候输出的那一大堆东西，要总结实验结果，可视化训练日志的关键参数是一个很有效的方式，所以我们来做这个东西。 解析训练日志。 /usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Thu Nov 29 16:23:11 2018 @author: zhxing ，早起已经9点过半，看了训练日志大概loss稳定到0.02左右就不再下降了，于是停止训练了。
2.4K30发布于 2018-12-19 - 来自专栏深度学习自然语言处理
NLP的12种后BERT预训练方法
阅读大概需要11分钟 ? 跟随小博主，每天进步一丢丢 ? 作者：朝九晚九 学校：北京航空航天大学 研究方向：自然语言处理 目录 1. RoBERTa 2. ERNIE 3. ALBERT 11. MT-DNN 12. XLENET 1. RoBERTa 论文：A Robustly Optimized BERT Pretraining Approach. 构造多个无监督任务来学习词法、句法和语义的信息；且通过增量的方式进行多任务学习，引入新任务后，并不是只使用新的任务来训练，而是通过多任务学习同时学习之前的任务和新增加的任务，这样既要学习新的信息的同时也不能忘记老的信息 预训练了一个微调后可以同时用于自然语言理解和自然语言生成的下游任务模型，核心框架transformer，预训练和目标结合了以下三个： 单向语言模型(同ELMO/GPT)，在做attention时只能mask 11.
1.4K10发布于 2020-02-24 【大模型后训练专题】 LoRA微调原理及实现
LoRA 原理及实现前言✍ 在大模型后训练这条线里，大模型的参数量往往是几十亿、上百亿。 而在前言我们也提到过，LoRA的核心想法：不需要所有的参数同时训练，冻结原始参数，只训练一个小的 ΔW。 Q1：为什么可以直接通过一个低秩矩阵训练就可以达到好的效果？ 了解了为什么可以这么做后，我们来看一下LoRA在实际工程中是怎么实现的, 以 Transformer 里最常见的线性层为例：原始权重矩阵：W_0 \in \mathbb{R}^{d_{\text{out 2.2 LoRA Dropout在很多工程实现中，LoRA 会在A x 后加一个 dropout，例如：h_{\text{out}} = W_0 x + \frac{\alpha}{r} B(\text Trainertrainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, # 预处理后的数据
2.2K31编辑于 2025-11-27- 来自专栏刷题笔记
【2020HBU天梯赛训练】7-11 打折
7-11 打折 去商场淘打折商品时，计算打折以后的价钱是件颇费脑子的事情。例如原价 ￥988，标明打 7 折，则折扣价应该是 ￥988 x 70% = ￥691.60。 输出格式： 在一行中输出商品的折扣价，保留小数点后 2 位。 输入样例： 988 7 输出样例： 691.60 啥也不说了，直接输出就完了 唯一考点就是格式 保留两位小数 补0.
93720发布于 2020-06-23 - 来自专栏新智元
【11分钟训练完ImageNet】DNN训练再破纪录，1024 CPU Caffe开源
现在，他们继续推进，使用1024个CPU，在11分钟内训练完AlexNet，48分钟训练完ResNet-50。研究人员表示，源代码不久后将在Intel Caffe发布。 先来看论文摘要： ? 在本文中，我们介绍了这次调查的结果：使用LARS，我们能够在11分钟内有效利用1024个CPU训练完AlexNe（ImageNet，100-epoch），并在48分钟内训练完ResNet-50（ImageNet 更进一步：11分钟训练完AlexNet，48分钟训练完ResNet-50 继这项工作之后，很自然地，伯克利、TACC和UC戴维斯的这些研究人员希望弄清，LARS算法是否可以用来进一步扩大DNN训练中有效使用的处理器的数量 于是这一次，他们使用CPU（总共1024个Intel Skylake），11分钟训练完AlexNet（ImageNet，100-epoch），48分钟训练完ResNet-50（ImageNet，90-epoch 11分钟完成。精度与基准相当。 ? 下图则是训练ResNet-50的结果，使用了数据增强，方法与Facebook（He等，2016年）一样。48分钟完成。精度与基准相当。 ?
1.8K110发布于 2018-03-21 - 来自专栏数据库学习笔记
【参数优化】11gR2安装后参数优化
以下为11gR2安装完成后需要优化的参数，建议PC端查看。 前序： 【安装】CentOS7.7下图形化安装Oracle11gR2 【补丁】Oracle11gR2补丁更新（PSU） 一、参数优化 #如果指定为TRUE， 并行操作只会在当前instance里面并行 11R2会遇到一个BLOOM过滤器导致的BUG 9124206和BUG 8361126，出现ORA-00060 ORA-10387错误 alter system set "_bloom_filter_enabled UNLIMITED; #默认密码180天过期，改为不过期 alter profile "DEFAULT" limit PASSWORD_LIFE_TIME UNLIMITED; #指定登陆尝试失败次数账户锁定后自动解锁时间 ', operation => NULL, window_name => NULL); END; / 二、总结 看过一些参数优化的最佳实践，还是各有区别，部分参数在当前知识体系下还不理解，后续深入学习后再补充修正
1.6K30发布于 2021-04-22 - 来自专栏明年我18
RHEL装完oracle 11g后遇到的问题
SELINUXTYPE=targeted 保存后重启系统。 2.用sqlplus，输入用户名密码后，提示： Enter user-name: system Enter password: ERROR: ORA-01034: ORACLE not available
90450发布于 2019-09-18 - 来自专栏Goboy
从零开始后训练文生图大模型完全指南
当我们谈论"训练自己的文生图模型"时，实际上存在两条截然不同的路径：预训练（Pre-training）和后训练（Post-training）。 二、核心概念深度解析2.1预训练与后训练的本质区别要理解后训练的价值，我们首先需要了解预训练模型的本质。 2.2扩散模型的工作原理在深入后训练技术之前，有必要简要理解扩散模型（DiffusionModel）的工作原理，因为这直接关系到我们如何设计训练策略。 三、后训练技术全景图后训练技术经过近两年的快速发展，已经形成了一个丰富的技术生态。不同的技术适用于不同的场景，选择正确的技术路线是成功的关键。 五、选择基础模型选择合适的基础模型是后训练的第一个重要决策。
1K22编辑于 2026-01-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号