- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习、深度学习
模型加速
本文的思路比较简单，裁剪+量化一体训练模型分三个步骤： 1） Clipping 裁剪，将网络中的权重系数值接近0 的权重全部置零，当然这种置零是临时性的，后面的训练迭代根据实际情况调整。 这里的阈值自适应确定，（model the objective function as a Gaussian process） 2）Partitioning 切分， partition the non-clipped
1.2K30发布于 2019-05-26 - 来自专栏数据人生
加速MapReduce2
案例1：对Map的输出进行排序时的CPU缓存本地性加速 此案例中，我们发现WordCount上性能的降低：某个作业在MR1上只需运行375秒，在MR2集群上需要运行475秒，这比MR1上多运行了25% 更小的块可能更加适合CPU缓存，也就是说，当排序的时候，所有的内存加速都非常快，因此排序过程也非常快。更大的块可能不适合CPU缓存加速，这意味内存加速会在更高级别的缓存中进行，或者直接在内存中进行。 以前的版本中，为了加速map输出记录，我发现首先会存储第n个记录在meta数组中的索引，接着存放记录key的位置，接着存放value在原始数据的位置。 而缓存外内存加速的代价大于缓存内额外的内存移动的代价，因此这种方法值得一试。 为什么会加速呢？这是因为排序时，我们将可以操作一段连续的内存空间，而操作其中一块时，可以进行CPU缓存加速。 以前方法在进行寻址或者移动时，因为缓存区的元数据区段比较大，可能没法利用CPU缓存加速。 这个小的改变就像魔术一样。
53110编辑于 2022-09-23 - 来自专栏机器之心
无需训练，即插即用，2倍GPU端到端推理加速——视频扩散模型加速方法DraftAttention
本文第一作者为美国东北大学博士生沈轩，研究方向为高效人工智能，致力于在 GPU、移动端、FPGA 和 ASIC 等多种硬件平台上实现大模型的高效部署与加速。 近期，来自美国东北大学、香港中文大学、Adobe Research 等机构的研究团队提出了一种无需训练、即插即用的，基于动态稀疏注意力的视频扩散模型加速方法 ——DraftAttention，显著降低了注意力机制的计算开销 ，并且在几乎不损失生成质量的前提下，实现高达 2 倍的 GPU 端到端推理加速。 草图构建：首先，对隐藏空间的特征图进行空间下采样（如 816 平均池化），生成低分辨率版本的 Query 和 Key； 2. 实验结果 我们在多个主流视频生成模型上评估了 DraftAttention 的性能，包括 HunyuanVideo 和 Wan2.1。实验主要从两个维度进行评估：生成质量和推理加速。
44510编辑于 2025-06-29 - 来自专栏机器学习与统计学
深度学习模型加速：Pytorch模型转TensorRT模型
经过一段时间的调研与实践，算是对模型加速这方面有了一定的了解，便促成了此文。 1、如何实现模型加速？ 既然要提升效率，实现模型加速，那么具体应该怎么做呢？ 目前常用的深度学习模型加速的方法是：将pytorch/tensorflow等表示的模型转化为TensorRT表示的模型。 pytorch和tensorflow我们了解，那么TensorRT是什么呢？ TensorRT是NVIDIA公司出的能加速模型推理的框架，其实就是让你训练的模型在测试阶段的速度加快，比如你的模型测试一张图片的速度是50ms，那么用tensorRT加速的话，可能只需要10ms。 我将实现深度学习模型加速整体分成了两部分： 模型转换部分。实现 Pytorch/Tensorflow Model -> TensorRT Model 的转换。 模型推断（Inference）部分。 2、模型转换 如何由 Pytorch Model 得到对应的 TensorRT Model 呢？
1.8K21编辑于 2024-06-11 - 来自专栏机器学习、深度学习
模型加速--Slimmable neural networks
Slimmable neural networks ICLR2019 Code and models will be released 可瘦身的神经网络，针对不同硬件和运行环境，可以快速提供与之相适应的CNN模型来完成任务 硬件配置好的，给一个大模型，硬件配置差的，给一个小点的模型。 同一个模型，设置一下参数就可以了 At runtime, the network can adjust its width on the fly according to on-device benchmarks 同一个网络模型在不同的设备上运算时间也是不一样的。 反过来，对于不同的硬件设备及运行环境，我们能否快速的提供与之相适应的CNN网络模型来完成相关的任务了？ ?
66530发布于 2019-05-26 - 来自专栏GoCoding
TVM 加速模型，优化推断
TVM 是一个开源深度学习编译器，可适用于各类 CPUs, GPUs 及其他专用加速器。它的目标是使得我们能够在任何硬件上优化和运行自己的模型。 不同于深度学习框架关注模型生产力，TVM 更关注模型在硬件上的性能和效率。 本文只简单介绍 TVM 的编译流程，及如何自动调优自己的模型。 调优模型 TVM 文档 User Tutorial[2] 从怎么编译优化模型开始，逐步深入到 TE, TensorIR, Relay 等更底层的逻辑结构组件。 这里只讲下如何用 AutoTVM 自动调优模型，实际了解 TVM 编译、调优、运行模型的过程。 ，并加载 获取预训练的 ResNet-50 v2 ONNX 模型，并加载： model_url = "".join( [ "https://github.com/onnx/models
97920编辑于 2022-05-27 - 来自专栏计算机视觉战队
预告 | 模型加速压缩——精度无损
今天主要是预先告知大家下一期我们发送的内容，主要是模型压缩！如果你们有想了解或深入熟悉的框架，可以在留言处告诉我们，我们也会第一时间把大家希望的分享出来，我们一起学习讨论，共同进步！ 预告 ? 因此这些方法的性能通常取决于给定的预训练模型。对基本操作和体系结构的改进将使它们走得更远。 虽然Xception、MobileNets、MobileNetV2、MobileNetV3、ShuffleNet和ShuffleNetV2等轻量级模型以很少的FLOPs获得了很好的性能，但是它们特征图之间的相关性和冗余性一直没有得到很好的利用
40510发布于 2020-06-06 - 来自专栏数据科学（冷冻工厂）
PyTorch | 加速模型训练的妙招
引言 提升机器学习模型的训练速度是每位机器学习工程师的共同追求。训练速度的提升意味着实验周期的缩短，进而加速产品的迭代过程。同时，这也表示在进行单一模型训练时，所需的资源将会减少。
48810编辑于 2024-07-16 - 来自专栏AI研习社
加速BERT模型：从架构优化、模型压缩到模型蒸馏
不过如果能够加速，当然也是好的，因为迭代越快，你就能越早地解决你的问题。 这在神经网络中并不陌生，其他领域（例如计算机视觉）以前也有相同的问题，并且已经开发了几种压缩和加速神经网络模型的方法。 2、量化和修剪 ? 量化 会降低模型权重的数值精度。 于是模型尺寸将随之减小 2 倍、4 倍、8 倍或 32 倍。这称为 post-training quantization。 另一个选项是量化感知训练（也是较为困难和较为不成熟的）。 需要强调，以上所介绍的方法并不互相冲突，所以我们期待能够将这些方法协同起来使用来加速 BERT 模型（或其他相似模型）。
3.4K51发布于 2019-11-01 - 来自专栏CSDN博客
微调Whisper模型和加速推理
另外项目最后还对语音识别加速推理，使用了CTranslate2加速推理，提示一下，加速推理支持直接使用Whisper原模型转换，并不一定需要微调。 python infer.py --audio_path=dataset/test.wav --model_path=models/whisper-large-v2-finetune 加速预测 众所周知 ，直接使用Whisper模型推理是比较慢的，所以这里提供了一个加速的方式，主要是使用了CTranslate2进行加速，首先要转换模型，把合并后的模型转换为CTranslate2模型。 --output_dir参数指定的是转换后的CTranslate2模型路径，--quantization参数指定的是量化模型大小，不希望量化模型的可以直接去掉这个参数。 -ct2 --copy_files tokenizer.json --quantization float16 执行以下程序进行加速语音识别，--audio_path参数指定的是要预测的音频路径。
3K30编辑于 2023-04-30 - 来自专栏范传康的专栏
Llama2.c 学习笔记2： 编译加速
llama2.c使用纯C编写，不过不同的编译优化能够提供不同的加速性能。 在同一台机器（centos gcc 9.3）不同编译配置，运行相同的模型（stories110M），进行推理速度（tok/s)比较。 相比原始的c编译（O3优化），叠满Fast，OMP，GNUC11后有了近10倍的加速。centos 安装 gcc 9.xubuntu20，22好像默认安装的gcc都是高版本的没有问题。 /run out/stories110M.bin图片2. Fast: 13.30 tok/sgcc -Ofast -o run run.c -lm.
3.9K61编辑于 2023-08-04 - 来自专栏深度学习自然语言处理
剪枝乱炖 | 模型加速与压缩
---- 作者：Colorjam https://zhuanlan.zhihu.com/p/97198052 剪枝是模型压缩的一个子领域，依据剪枝粒度可以分为非结构化/结构化剪枝，依据实现方法可以大致分为基于度量标准 剪枝之外 提升精度： 利用剪枝的方式来提升模型精度，比如DSD: Dense-Sparse-Dense Training for Deep Neural Networks(ICLR2017)利用非结构化剪枝 总结 一脉梳理下来感觉做纯的剪枝感觉很难了，对比人工设计的结构和准则，NAS出来的模型可以又小巧精度又高，剪枝也逐渐受其影响快、准、狠地寻找结构。 Reference 闲话模型压缩之网络剪枝（Network Pruning）篇 技术文章配图指南 下载一：中文版！学习TensorFlow、PyTorch、机器学习、深度学习和数据结构五件套！
1.2K20编辑于 2022-03-04 - 来自专栏机器学习AI算法工程
onnx实现对pytorch模型推理加速
环境） 2. 使用这个函数可以保存各种对象的模型、张量和字典。 2.torch.load：使用pickle unpickle工具将pickle的对象文件反序列化为 内存。 3.torch.nn.Module.load_state_dict:使用反序列化状态字典加载 model's参数字典 保存加载模型2种方式，在保存模型进行推理时，只需要保存训练过的模型的学习参数即可，一个常见的 如果不这样做， 将会产生不一致的推断结果 #在保存用于推理或恢复训练的通用检查点时，必须保存模型的state_dict Pytorch模型转onnx 举例模型是调用resnet50训练的4分类模型,训练过程调用 2 如果保存的是模型参数，则需要先创建模型，再加载模型参数 import torch from models import resnet50 model = resnet50() #创建模型 weight
4.8K30发布于 2021-01-27 - 来自专栏Java项目实战
解锁模型下载神器---免费加速插件
现在，让我向你们介绍一个非常优秀的插件，它将彻底改变你们的下载体验——超越传统的模型git加速插件！ 这个插将让你们拥有前所未有的下载速度和流畅体验。 而模型git加速插件应运而生，通过一系列智能优化算法，解决了这些问题，让你的下载速度如飞一般。 下面让我们来看看超越传统的模型git加速插件的几个关键特点： 1.快速而稳定的下载速度：借助高效的下载算法和全球分布的加速节点，插件能够将下载速度提升至少50%，同时保证下载的稳定性和可靠性，让你不再为漫长的下载等待而苦恼 2.智能分布式缓存：插件会自动构建一个智能缓存网络，利用全球各地的节点将常用的模型和代码缓存在靠近用户的位置，从而实现快速的本地下载。无论你身在何处，都能享受到与本地下载一样的快速下载体验。 1.下载本地git安装包解压即用 拉取大模型加速器和git安装包：后台回复【神器】即可 2.解压即用 3.更改为本地安装路径 4.勾选功能 5.安装后成功 6.其他默认下一步即可 加速器使用双击exe即可全部选中
77020编辑于 2023-11-15 - 来自专栏贾志刚-OpenCV学堂
使用OpenVINO加速Pytorch表情识别模型
微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 关于模型 OpenVINO自带的表情识别模型是Caffe版本的，这里使用的模型是前面一篇文章中训练生成的pytorch全卷积网络，模型基于残差网络结构全卷积分类网络 答案是借助OpenVINO的模型优化器组件工具，OpenVINO的模型优化器组件工具支持常见的Pytorch预训练模型与torchvision迁移训练模型的转换， ? 加速推理 使用OpenVINO的Inference Engine加速推理，对得到的模型通过OpenVINO安装包自带的OpenCV DNN完成调用，设置加速推理引擎为Inference Engine， ，并使用inference engine执行加速推理。 执行推理与输出解析，得到表情分类的结果，代码如下： 1Rect box(x1, y1, x2 - x1, y2 - y1); 2Mat roi = frame(box); 3Mat face_blob
1.9K20发布于 2020-07-13 - 来自专栏深度学习和计算机视觉
深度学习模型压缩与加速综述
导读 本文详细介绍了4种主流的压缩与加速技术：结构优化、剪枝、量化、知识蒸馏，作者分别从每个技术结构与性能表现进行陈述。 近年来，深度学习模型在CV、NLP等领域实现了广泛应用。 因此，如何在不影响深度学习模型性能的情况下进行模型压缩与加速，成为了学术界和工业界的研究热点。 1、简介 深度学习模型压缩与加速是指利用神经网络参数和结构的冗余性精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。 （事实上，压缩和加速是有区别的，压缩侧重于减少网络参数量，加速侧重于降低计算复杂度、提升并行能力等，压缩未必一定能加速，本文中我们把二者等同看待） 必要性：主流的模型，如VGG-16，参数量1亿3千多万 2、主流技术 主流的压缩与加速技术有4种：结构优化、剪枝（Pruning）、量化（Quantization）、知识蒸馏（Knowledge Distillation）。
1.2K21编辑于 2022-02-10 - 来自专栏SIGAI学习与实践平台
深度学习模型压缩与加速综述
本文主要介绍深度学习模型压缩和加速算法的三个方向，分别为加速网络结构设计、模型裁剪与稀疏化、量化加速。 关键词：深度学习、模型压缩、模型加速 I.加速网络设计 分组卷积 分组卷积即将输入的feature maps分成不同的组（沿channel维度进行分组），然后对不同的组分别进行卷积操作，即每一个卷积核至于输入的 总结 本节主要介绍了模型模型设计的思路，同时对模型的加速设计以及相关缺陷进行分析。总的来说，加速网络模型设计主要是探索最优的网络结构，使得较少的参数量和计算量就能达到类似的效果。 II. 乘法运算转变为加法的好处在于：计算机底层硬件在实现两个n位宽数据的乘法运算时必须完成2*n位宽度的逻辑单元处理，而同样数据在执行加法时只需要n个位宽的逻辑单元处理，因此理论上可以得到2倍的加速比。 总结 本文主要介绍了三种主流的深度学习模型压缩和模型加速的方向，分别为：加速网络结构设计，即通过优化网络结构的设计去减少模型的冗余和计算量；模型裁剪和稀疏化，即通过对不重要的网络连接进行裁剪，模型裁剪主要针对已经训练好的模型
1.5K70发布于 2019-06-13 - 来自专栏贾志刚-OpenCV学堂
深度学习模型压缩与加速综述
本文主要介绍深度学习模型压缩和加速算法的三个方向，分别为加速网络结构设计、模型裁剪与稀疏化、量化加速。 关键词：深度学习、模型压缩、模型加速 I.加速网络设计 分组卷积 分组卷积即将输入的feature maps分成不同的组（沿channel维度进行分组），然后对不同的组分别进行卷积操作，即每一个卷积核至于输入的 总结 本节主要介绍了模型模型设计的思路，同时对模型的加速设计以及相关缺陷进行分析。总的来说，加速网络模型设计主要是探索最优的网络结构，使得较少的参数量和计算量就能达到类似的效果。 II. 乘法运算转变为加法的好处在于：计算机底层硬件在实现两个n位宽数据的乘法运算时必须完成2*n位宽度的逻辑单元处理，而同样数据在执行加法时只需要n个位宽的逻辑单元处理，因此理论上可以得到2倍的加速比。 总结 本文主要介绍了三种主流的深度学习模型压缩和模型加速的方向，分别为：加速网络结构设计，即通过优化网络结构的设计去减少模型的冗余和计算量；模型裁剪和稀疏化，即通过对不重要的网络连接进行裁剪，模型裁剪主要针对已经训练好的模型
95141发布于 2019-06-14 - 来自专栏AI技术探索和应用
使用vLLM加速大语言模型推理
区别于 chatglm.cpp 和 llama.cpp，仅是在 GPU 上的模型推理加速，没有 CPU 上的加速。 vllm-project/vllm 文档：https://vllm.readthedocs.io/en/latest/models/supported_models.html 支持 HuggingFace 上的模型 GPT-2 (gpt2, gpt2-xl, etc.) GPT BigCode (bigcode/starcoder, bigcode/gpt_bigcode-santacoder, etc.) LLaMA & LLaMA-2 (meta-llama/Llama-2-70b-hf, lmsys/vicuna-13b-v1.3, young-geng/koala, openlm-research/ 安装 pip install vllm 检查模型是否被 vLLM 支持，返回成功则是支持的。 from vllm import LLM llm = LLM(model=...
24K21编辑于 2024-03-13 - 来自专栏人工智能前沿讲习
模型加速与压缩 | 剪枝乱炖
剪枝是模型压缩的一个子领域，依据剪枝粒度可以分为非结构化/结构化剪枝，依据实现方法可以大致分为基于度量标准/基于重建误差/基于稀疏训练的剪枝，并且逐渐有向AutoML发展的趋势。 剪枝之外 提升精度： 利用剪枝的方式来提升模型精度，比如DSD: Dense-Sparse-Dense Training for Deep Neural Networks(ICLR2017)利用非结构化剪枝 总结 一脉梳理下来感觉做纯的剪枝感觉很难了，对比人工设计的结构和准则，NAS出来的模型可以又小巧精度又高，剪枝也逐渐受其影响快、准、狠地寻找结构。 Reference 1、闲话模型压缩之网络剪枝（Network Pruning）篇 https://blog.csdn.net/jinzhuojun/article/details/100621397 2、技术文章配图指南 https://draveness.me/sketch-and-sketch/ 作者：Colorjam 地址：https://www.zhihu.com/people/cherrycherryan
2.4K30发布于 2020-06-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号