- 综合排序
- 最热优先
- 最新优先
- 来自专栏DeepHub IMBA
使用FP8加速PyTorch训练
FP8与Transformer Engine的集成 PyTorch(版本2.1)不包括FP8数据类型。 为了将我们的脚本编程为使用FP8，我们将使用Transformer Engine (TE)，这是一个用于在NVIDIA gpu上加速Transformer模型的专用库。 Fp8_autocast上下文管理器。 所以可能需要调整底层FP8机制(例如，使用TEapi)，调整一些超参数，和/或将FP8的应用限制在模型的子模型（一部分）。最坏的可能是尽管进行了所有尝试，模型还是无法与FP8兼容。 总结 在这篇文章中，我们演示了如何编写PyTorch训练脚本来使用8位浮点类型。展示了FP8的使用是如何从Nvidia H100中获得最佳性能的关键因素。
1.1K40编辑于 2023-11-20 - 来自专栏InCerry
.NET8 硬件加速指令的支持
在这篇文章中，我将深入介绍我们在 .NET 8 中引入的内容以及它所启用的功能类型。 作为一个平台，Wasm 已经开始提供底层的 SIMD（单指令多数据）支持，以便加速核心算法，而 .NET 也相应地选择通过硬件内在函数来暴露对这一功能的支持。 同样，它继续公开 Vector512.IsHardwareAccelerated 属性，允许你确定通用逻辑是否应该在硬件中加速，或者如果它将通过软件回退来模拟行为。 后来在 2003 年，当 x64 平台在 AMD Athlon 64 上引入时，它又提供了 8 个额外的寄存器，这些寄存器能被 64 位代码访问，被命名为 xmm8 到 xmm15。 AVX-512 在实践中的应用示例 AVX-512 可以用来加速所有 SSE 或 AVX 场景下的相同情况。
1K10编辑于 2023-12-26 - 来自专栏技术进阶
Centos 7.0-7. 8 安装bbr加速教程
访问 http://[your-server-IP]/500mb.zip 来测试下载速度~
1.8K10编辑于 2021-12-24 - 来自专栏AI科技时讯
XGB-8: Xgboost加速故障时间的生存分析
前8列表示特征，最后一列“生存时间”表示标签。 加速故障时间模型 加速失效时间（AFT） 模型是生存分析中最常用的模型之一。
79410编辑于 2024-05-30 - 来自专栏Java实战博客
WordPress加速 – Redis加速 – Opcache加速
本页目录 Redis加速 Opcache – PHP脚本加速 任何网站的加速都离不开缓存，Wordpress也是一样，我们本次采用Redis做Wordpress的缓存！ 同时我们采用Opcache给PHP脚本加速！ Redis加速 我们去宝塔，下载一个Redis，然后启动Redis，然后配置文件配置如下。 // 设置使用的Redis库 define( 'WP_REDIS_DATABASE', 0 ); Opcache – PHP脚本加速 在宝塔里安装一下。 默认是4 opcache.interned_strings_buffer=8 ;OPcache控制内存中最多可以缓存多少个PHP文件，建议设置大一点，大于你的项目中的所有PHP文件的总和。
3.6K10编辑于 2022-11-18 - 来自专栏HenCoder
HenCoder Android 自定义 View 1-8 硬件加速
今天我试着就把硬件加速的外衣脱掉（并没有），聊一聊它的原理和应用： 硬件加速的本质和原理； 硬件加速在 Android 中的应用； 硬件加速在 Android 中的限制。 这就是「硬件加速」。 而对于 Android 来说，硬件加速有它专属的意思：在 Android 里，硬件加速专指把 View 中绘制的计算工作交给 GPU 来处理。 如图，在硬件加速开启时，CPU 做的事只是把绘制工作转换成 GPU 的操作，这个工作量相对来说是非常小的。 怎么就「加速」了？ 如果这个方法是硬件加速的开关，那么它的参数为什么不是一个 LAYER_TYPE_SOFTWARE 来关闭硬件加速以及一个 LAYER_TYPE_HARDWARE 来打开硬件加速这么两个参数，而是三个参数 View 级别的硬件加速开关，所以它就「顺便」成了一个开关硬件加速的方法。
63830发布于 2018-08-20 - 来自专栏DeepHub IMBA
使用FP8加速PyTorch训练的两种方法总结
虽然PyTorch官方在标准发布中尚未全面支持FP8，但是在2.2版本中PyTorch已经包含了对FP8的“有限支持”并且出现了2个新的变量类型，torch.float8_e4m3fn和 torch.float8 所以我们需要通过第三方的库Transformer Engine (TE)，这是一个用于在NVIDIA gpu上加速Transformer模型的专用库。 imports from float8_experimental import config from float8_experimental.float8_linear import Float8Linear from float8_experimental.float8_linear_utils import ( swap_linear_with_float8_linear, sync_float8 对比TE 未编译的TE FP8模型的性能明显优于我们以前的FP8模型，但编译后的PyTorch FP8模型提供了最好的结果。因为TE FP8模块不支持模型编译。
1.6K10编辑于 2024-06-03 腾讯云S8实例加速乐元素游戏AI推理报告
） 行业标签：游戏 产品标签：#云服务器CVM #计算实例S8 #英特尔至强可扩展处理器 #AI推理加速 报告背景和目标 游戏开发商乐元素在《开心消消乐》等游戏中引入AI技术以优化关卡设计流程，日均需处理超过 解决方案：腾讯云实例S8搭载第五代英特尔®至强®可扩展处理器，通过硬件代际升级与软件优化（如AMX加速）显著提升推理效率。 可执行结论：通用云服务器通过CPU内置AI加速器可替代部分专用硬件，在降低TCO的同时满足游戏企业灵活多变的AI算力需求。 为什么选择腾讯云 技术先进性：腾讯云实例S8集成第五代英特尔®至强®可扩展处理器，其内置英特尔®AMX加速器无需独立GPU即可处理高达200亿参数模型的推理任务⁴，并提供与上一代平台兼容的平滑升级路径。 基础设施保障：腾讯云全球部署超100万台服务器及2800个加速节点，为游戏企业提供弹性、高可用的算力支持。
10910编辑于 2026-05-31- 来自专栏计算机视觉战队
Yolo系列模型的部署、精度对齐与int8量化加速
当时想做这个的目的是是为了总结一下目标检测模型的量化加速到底会遇到什么坑，只是没想到不量化坑都会很多。 2、详解TensorRT量化的三种实现方式 TensorRT量化的三种实现方式包括trt7自带量化、dynamic range api，trt8引入的QDQ算子。 我们发现尽管量化版本的torch模型精度很高，但是在TensorRT部署时精度却很低，TRT部署收精度损失很严重，通过可视化其他量化形式的engine和问题engine进行对比，我们发现是一些层的int8量化会出问题 weight采用MinMaxObserver，在PTQ过程中，weight的校准前向传播一次，activation的校准需要多次 因此我们将weight的PTQ过程和activation的PTQ过程分开进行，加速 实践证明，我们采用上述配置的分离PTQ量化在yolov8上可以取得基本不掉点的int8量化精度。
1.6K20编辑于 2023-11-08 - 来自专栏数据派THU
使用FP8加速PyTorch训练的两种方法总结
所以我们需要通过第三方的库Transformer Engine (TE)，这是一个用于在NVIDIA gpu上加速Transformer模型的专用库。 e4m3fn 8 448 -448 0.015625 0.125 float8_e5m2 8 57344 imports from float8_experimental import config from float8_experimental.float8_linear import Float8Linear from float8_experimental.float8_linear_utils import ( swap_linear_with_float8_linear, sync_float8 FP8线性层的使用使我们的模型的性能比我们的基线实验提高了47%(!!) 对比TE 未编译的TE FP8模型的性能明显优于我们以前的FP8模型，但编译后的PyTorch FP8模型提供了最好的结果。
81910编辑于 2024-05-30 - 来自专栏计算机视觉战队
最高加速9倍！字节跳动开源8比特混合精度Transformer引擎
推理部署难且加速比低。对比 fp32、fp16 等类型，int8 硬件和底层软件库优化相对滞后。 例如在 NVIDIA GPU 上，int8 矩阵乘法加速受限于硬件架构和特定 shape，实际加速比远远低于理论值。 在下文中，如无特殊说明，量化都是指的 int8 精度的量化。 LightSeq 快准狠地实现了 int8 精度的量化训练和推理： 快：A100 多卡训练最高加速 5.2 倍，T4 单卡推理最高加速 8.9 倍。 准：训练和推理效果基本无损。 卓越的性能 相比于 fp16 精度的 LightSeq 推理引擎，int8 量化还可以进一步加速最高 70%，相比于 PyTorch 推理更是达到了最高 8.9 倍的加速比。 这是因为在 T4 显卡上，int8 GEMM 的加速会随着 shape 的增大而有明显增加。因此在 T4 显卡上进行量化推理时，输入数据量越大，加速效果越好。
89940编辑于 2023-08-24 - 来自专栏机器之心
最高加速9倍！字节跳动开源8比特混合精度Transformer引擎
推理部署难且加速比低。对比 fp32、fp16 等类型，int8 硬件和底层软件库优化相对滞后。 例如在 NVIDIA GPU 上，int8 矩阵乘法加速受限于硬件架构和特定 shape，实际加速比远远低于理论值。 在下文中，如无特殊说明，量化都是指的 int8 精度的量化。 LightSeq 快准狠地实现了 int8 精度的量化训练和推理： 快：A100 多卡训练最高加速 5.2 倍，T4 单卡推理最高加速 8.9 倍。 准：训练和推理效果基本无损。 卓越的性能 相比于 fp16 精度的 LightSeq 推理引擎，int8 量化还可以进一步加速最高 70%，相比于 PyTorch 推理更是达到了最高 8.9 倍的加速比。 这是因为在 T4 显卡上，int8 GEMM 的加速会随着 shape 的增大而有明显增加。因此在 T4 显卡上进行量化推理时，输入数据量越大，加速效果越好。
1.4K10编辑于 2022-12-15 - 来自专栏我爱计算机视觉
YOLO系列模型的部署、精度对齐与int8量化加速
写这篇文章的目的是为宣传我在23年初到现在完成的一项工作---Yolo系列模型在TensorRT上的部署与量化加速，目前以通过视频的形式在B站发布（不收费，只图一个一剑三连）。 BV1Ds4y1k7yr/ Github开源地址（求star）：https://github.com/thb1314/mmyolo_tensorrt/ 当时想做这个的目的是是为了总结一下目标检测模型的量化加速到底会遇到什么坑 weight采用MinMaxObserver，在PTQ过程中，weight的校准前向传播一次，activation的校准需要多次 因此我们将weight的PTQ过程和activation的PTQ过程分开进行，加速 实践证明，我们采用上述配置的分离PTQ量化在yolov8上可以取得基本不掉点的int8量化精度。 原文链接：https://www.hbblog.cn/%E6%A8%A1%E5%9E%8B%E9%83%A8%E7%BD%B2/mmyolo_tensorrt/ END
1.2K20编辑于 2023-11-07 硬件加速卡 FPGA硬件加速1- 基于Xilinx XCKU115的半高PCIe x8 硬件加速卡
一、板卡概述 本板卡系我公司自主研发，采用Xilinx公司的XCKU115-3-FLVF1924-E芯片作为主处理器，主要用于FPGA硬件加速。板卡设计满足工业级要求。 如下图所示： 二、功能和技术指标：四、应用领域 FPGA硬件加速XCKU115,硬件加速卡,XCKU115板卡,FPGA硬件加速
31410编辑于 2025-11-10- 来自专栏GPUS开发者
NVIDIA TensorRT通过8位量化将Stable Diffusion加速近2倍
这个工具包引入了改进的8位（FP8或INT8）后训练量化（PTQ），在保持图像质量的同时，极大地加速了在NVIDIA硬件上部署扩散模型。 NVIDIA TensorRT用于扩散模型的INT8和FP8量化方法相比于原生PyTorch在FP16下运行，可以实现在NVIDIA RTX 6000 Ada GPU上分别达到1.72倍和1.95倍的惊人加速 借助NVIDIA TensorRT，您可以通过其独有的8位量化技术无缝实现高达2倍的推理速度加速，同时确保图像质量不受损，为用户提供卓越的体验。 TensorRT在平衡速度和质量方面的承诺突显了它作为加速人工智能应用的首选之一的地位，让您能够轻松交付尖端解决方案。 在这篇Blog里,NVIDIA也详细描述了如何使用TensorRT 8位量化加速扩散模型的教程,大家可以自己去访问看看吧!
1.2K10编辑于 2024-03-14 - 来自专栏笔记堡—柠檬酸冰冰
加速狗scdn全站加速
加速你的网站超越极限！ 提高性能 让您的内容保持领先，更贴近您的用户，并在竞争中领先一步。 削减成本 通过简单的现收现付定价消除大量下载的巨大成本。
5.8K40编辑于 2023-03-04 - 来自专栏IT技术订阅
DeepGEMM：全球首个开源的 FP8 矩阵加速器技术解析
DeepSeek 开源的 DeepGEMM 矩阵加速器正是在这一背景下应运而生，它不仅填补了全球范围内 FP8 矩阵加速器的空白，还通过一系列创新技术实现了显著的性能提升。 FP8 是一种新兴的 8 位浮点格式，相比 FP32 和 FP16，它在计算速度上有显著提升，但精度较低。为了在保持计算效率的同时减少精度损失，DeepGEMM 应运而生。 它通过一系列优化策略，充分利用 NVIDIA Hopper 架构的硬件特性，实现了高效的 FP8 矩阵乘法加速。 二、DeepGEMM 的技术原理 （一）FP8 精度优化 FP8 是一种 8 位浮点格式，其位宽较短，因此计算速度更快，但精度较低。 开发者可以通过简单的 API 调用，快速实现 FP8 矩阵乘法的加速。这种易用性进一步提升了 DeepGEMM 的应用价值。
85200编辑于 2025-03-03 - 来自专栏DeepHub IMBA
JAX 训练加速指南：8 个让 TPU 满跑的工程实战习惯
batch_slices) grads = jax.tree_map(lambda g: g / len(batch_slices), grad_sum) ... 8、
26410编辑于 2025-12-24 智谱AI开源GLM模型：8倍加速推理与全球布局
中国北京 – 2025年4月15日 – 作为一项彰显其技术实力和全球雄心的战略举措，并为潜在的未来IPO铺平道路，中国人工智能公司智谱AI宣布全面开源其下一代通用语言模型（GLM）。此次发布包括先进的GLM-4系列和突破性的GLM-Z1推理模型，这些模型拥有前所未有的推理速度，并推出了专用的国际域名Z.ai。
1.6K180编辑于 2026-03-30- 来自专栏桃李博客
WordPress 终极加速系列 – 加速原理
优化方案介绍 整个优化方案分为3篇文章,争取写个由简入深的介绍，希望没有技术背景的站长都能看懂： 第一篇介绍加速的原理（本篇也就是第一篇了） 第二篇介绍加速插件 W3 Total Cache 第三篇介绍 四、加速原理 1、利用 APC 缓存 PHP 文件，这一步即可极大提高网站响应速度，尤其是后台，几乎是秒开。 众所周知，我们的主机是虚拟机，在一个 8 核或者 16 核的机器上，随机给你分配的cpu，你你买的4核，那么就只会分配4个cpu给你使用。 worker_cpu_affinity 表示cpu的核心的序号，8位2进制表示。 如果你的机器超过8核，那么最多绑定8核也够了，Nginx 官方不推荐超过8核来分配进程。
1.9K30编辑于 2022-10-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号