- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习、深度学习
模型加速
本文的思路比较简单，裁剪+量化一体训练模型分三个步骤： 1） Clipping 裁剪，将网络中的权重系数值接近0 的权重全部置零，当然这种置零是临时性的，后面的训练迭代根据实际情况调整。 into quantization intervals，这里我们使用了 linear (uniform) partitioning ，也可以使用其他自适应切分 如 weighted entropy 3）
1.2K30发布于 2019-05-26 - 来自专栏AI学习笔记
3D生成模型加速：Mobile-3D-GPT架构解析
硬件加速支持：结合移动设备的硬件特点，利用GPU等加速技术，进一步提升模型的运行速度。自适应学习策略：根据移动设备的实时资源状况，动态调整模型的学习和生成过程，确保模型的稳定运行。 特征融合策略图：硬件加速支持为了充分利用移动设备的硬件资源，Mobile-3D-GPT架构提供了对硬件加速的全面支持。 GPU加速策略GPU在3D生成模型的训练和推理过程中具有重要作用。 在Mobile-3D-GPT中，通过混合精度训练，能够在保持模型精度的同时，提高训练速度和降低内存需求。GPU加速策略图：DSP加速支持除了GPU，移动设备中的DSP也可以用于加速3D生成模型的运行。 DSP加速支持图：自适应学习策略在移动设备上运行3D生成模型时，设备的资源状况（如内存、计算能力、电量等）可能会动态变化。
43310编辑于 2025-07-11 - 来自专栏机器学习与统计学
深度学习模型加速：Pytorch模型转TensorRT模型
经过一段时间的调研与实践，算是对模型加速这方面有了一定的了解，便促成了此文。 1、如何实现模型加速？ 既然要提升效率，实现模型加速，那么具体应该怎么做呢？ 目前常用的深度学习模型加速的方法是：将pytorch/tensorflow等表示的模型转化为TensorRT表示的模型。 pytorch和tensorflow我们了解，那么TensorRT是什么呢？ TensorRT是NVIDIA公司出的能加速模型推理的框架，其实就是让你训练的模型在测试阶段的速度加快，比如你的模型测试一张图片的速度是50ms，那么用tensorRT加速的话，可能只需要10ms。 我将实现深度学习模型加速整体分成了两部分： 模型转换部分。实现 Pytorch/Tensorflow Model -> TensorRT Model 的转换。 模型推断（Inference）部分。 深度学习模型加速是一个繁杂的任务，需要注意的是，本文并没有对各个内容进行详细的讲解，更多的是提供一种整体的框架、流程，并给出相应的解决指南，这一点从文中嵌入的各个链接也可以看出。
1.8K21编辑于 2024-06-11 - 来自专栏机器学习、深度学习
模型加速--Slimmable neural networks
Slimmable neural networks ICLR2019 Code and models will be released 可瘦身的神经网络，针对不同硬件和运行环境，可以快速提供与之相适应的CNN模型来完成任务 硬件配置好的，给一个大模型，硬件配置差的，给一个小点的模型。 同一个模型，设置一下参数就可以了 At runtime, the network can adjust its width on the fly according to on-device benchmarks 同一个网络模型在不同的设备上运算时间也是不一样的。 反过来，对于不同的硬件设备及运行环境，我们能否快速的提供与之相适应的CNN网络模型来完成相关的任务了？ ?
66530发布于 2019-05-26 - 来自专栏GoCoding
TVM 加速模型，优化推断
TVM 是一个开源深度学习编译器，可适用于各类 CPUs, GPUs 及其他专用加速器。它的目标是使得我们能够在任何硬件上优化和运行自己的模型。 不同于深度学习框架关注模型生产力，TVM 更关注模型在硬件上的性能和效率。 本文只简单介绍 TVM 的编译流程，及如何自动调优自己的模型。 其中流程见下图： 从高层次上看，包含了如下步骤： 导入（Import）：前端组件将模型提取进 IRModule，其是模型内部表示（IR）的函数集合。 这里只讲下如何用 AutoTVM 自动调优模型，实际了解 TVM 编译、调优、运行模型的过程。 [Task 3/25] Current/Best: 116.71/ 241.30 GFLOPS | Progress: (10/10) | 3.48 s Done.
97920编辑于 2022-05-27 - 来自专栏计算机视觉战队
预告 | 模型加速压缩——精度无损
今天主要是预先告知大家下一期我们发送的内容，主要是模型压缩！如果你们有想了解或深入熟悉的框架，可以在留言处告诉我们，我们也会第一时间把大家希望的分享出来，我们一起学习讨论，共同进步！ 预告 ? 因此这些方法的性能通常取决于给定的预训练模型。对基本操作和体系结构的改进将使它们走得更远。 虽然Xception、MobileNets、MobileNetV2、MobileNetV3、ShuffleNet和ShuffleNetV2等轻量级模型以很少的FLOPs获得了很好的性能，但是它们特征图之间的相关性和冗余性一直没有得到很好的利用
40510发布于 2020-06-06 英伟达加速Mistral 3开源模型：全栈优化驱动高效精准AI
英伟达加速的Mistral 3开源模型：在任何规模下实现高效与精准新一代Mistral 3开源模型系列为开发者和企业提供了行业领先的精准度、效率和定制能力。 Mistral 3 模型规格Mistral Large 3 在某机构 GB200 NVL72 平台上实现顶级性能英伟达加速的Mistral Large 3模型，通过利用针对大型先进MoE模型定制的一套全面优化技术栈 您可以在某机构GeForce RTX AI PC、某机构DGX Spark以及某机构Jetson等边缘平台上体验这些模型。即使在本地开发，您依然能获得英伟达加速的优势。 企业开发者不久后可通过可下载的英伟达NIM微服务，在任何GPU加速基础设施上轻松部署。视频1. Mistral 3 用户可输入文本与图像，并查看托管模型的响应开始使用开源AI构建应用英伟达加速的Mistral 3开源模型家族，是跨大西洋AI合作在开源社区的一次重大飞跃。
22610编辑于 2026-02-13- 来自专栏数据科学（冷冻工厂）
PyTorch | 加速模型训练的妙招
引言 提升机器学习模型的训练速度是每位机器学习工程师的共同追求。训练速度的提升意味着实验周期的缩短，进而加速产品的迭代过程。同时，这也表示在进行单一模型训练时，所需的资源将会减少。
48810编辑于 2024-07-16 - 来自专栏AI研习社
加速BERT模型：从架构优化、模型压缩到模型蒸馏
不过如果能够加速，当然也是好的，因为迭代越快，你就能越早地解决你的问题。 这在神经网络中并不陌生，其他领域（例如计算机视觉）以前也有相同的问题，并且已经开发了几种压缩和加速神经网络模型的方法。 [3]。 还有另外一种更为巧妙优化方案，这是一种被称为 LAMB 的新的分层自适应大批量优化技术 [4]，这种技术可以将 TPUv3 Pod 上的 BERT 训练时间从 3 天降低到 76 分钟（1024 个 TPUv3 需要强调，以上所介绍的方法并不互相冲突，所以我们期待能够将这些方法协同起来使用来加速 BERT 模型（或其他相似模型）。
3.4K51发布于 2019-11-01 - 来自专栏CSDN博客
微调Whisper模型和加速推理
另外项目最后还对语音识别加速推理，使用了CTranslate2加速推理，提示一下，加速推理支持直接使用Whisper原模型转换，并不一定需要微调。 openai/whisper-medium openai/whisper-large openai/whisper-large-v2 源码地址：Whisper-Finetune 使用环境： Anaconda 3 python infer.py --audio_path=dataset/test.wav --model_path=models/whisper-large-v2-finetune 加速预测 众所周知 ，直接使用Whisper模型推理是比较慢的，所以这里提供了一个加速的方式，主要是使用了CTranslate2进行加速，首先要转换模型，把合并后的模型转换为CTranslate2模型。 --output_dir models/whisper-large-v2-ct2 --copy_files tokenizer.json --quantization float16 执行以下程序进行加速语音识别
3K30编辑于 2023-04-30 - 来自专栏乱码李
Web 性能优化-CSS3 硬件加速(GPU 加速)
CSS3 硬件加速简介 上一篇文章学习了重绘和回流对页面性能的影响，是从比较宏观的角度去优化 Web 性能，本篇文章从每一帧的微观角度进行分析，来学习 CSS3 硬件加速的知识。 CSS3 硬件加速又叫做 GPU 加速，是利用 GPU 进行渲染，减少 CPU 操作的一种优化方案。 关于 z-index 导致的硬件加速的问题，可以查看这篇文章 CSS3硬件加速也有坑！！ 参考文章 Increase Your Site’s Performance with Hardware-Accelerated CSS 用CSS开启硬件加速来提高网站性能 css3硬件加速 CSS3硬件加速也有坑 GPU加速是什么 使用CSS3 will-change提高页面滚动、动画等渲染性能
3.8K20发布于 2021-11-26 - 来自专栏量子位
不用GPU，稀疏化也能加速你的YOLOv3深度学习模型
水木番 发自 凹非寺 量子位 报道 | 公众号 QbitAI 你还在为神经网络模型里的冗余信息烦恼吗？ 或者手上只有CPU，对一些只能用昂贵的GPU建立的深度学习模型“望眼欲穿”吗？ 这样就可以建立高度精确的pruned或pruned quantized的YOLOv3模型，从而简化流程。 那这种稀疏化方法的灵感来源是什么呢？ 调试结果展示 研究团队给出了稀疏YOLOv3目标检测模型在Deep Sparse引擎和PyTorch上的运行情况。 遇到的常见问题 如果用户的硬件不支持量化网络来推理加速，或者对完全恢复的要求非常高，官方建议使用pruned或pruned short 的recipe。 看来，有了以上强大的YOLOv3 模型工具和教程，用户就可以在CPU上，以最小化的占用空间和GPU的速度来运行深度学习模型。 这样有用的教程，你还在等什么？
91520发布于 2021-06-17 - 来自专栏深度学习自然语言处理
剪枝乱炖 | 模型加速与压缩
---- 作者：Colorjam https://zhuanlan.zhihu.com/p/97198052 剪枝是模型压缩的一个子领域，依据剪枝粒度可以分为非结构化/结构化剪枝，依据实现方法可以大致分为基于度量标准 在神经网络中可以用于度量的值主要分为3大块：Weight / Activation / Gradient。各种神奇的组合就产出了各种metric玩法。 剪枝之外 提升精度： 利用剪枝的方式来提升模型精度，比如DSD: Dense-Sparse-Dense Training for Deep Neural Networks(ICLR2017)利用非结构化剪枝 总结 一脉梳理下来感觉做纯的剪枝感觉很难了，对比人工设计的结构和准则，NAS出来的模型可以又小巧精度又高，剪枝也逐渐受其影响快、准、狠地寻找结构。 Reference 闲话模型压缩之网络剪枝（Network Pruning）篇 技术文章配图指南 下载一：中文版！学习TensorFlow、PyTorch、机器学习、深度学习和数据结构五件套！
1.2K20编辑于 2022-03-04 - 来自专栏机器学习AI算法工程
onnx实现对pytorch模型推理加速
3.torch.nn.Module.load_state_dict:使用反序列化状态字典加载 model's参数字典 保存加载模型2种方式，在保存模型进行推理时，只需要保存训练过的模型的学习参数即可，一个常见的 else "cpu") model = torch.load("test.pth") # pytorch模型加载 batch_size = 1 #批处理大小 input_shape = (3, 244 'batch'}, "output":{0: 'batch',2:'batch',3:'batch'}) 2 如果保存的是模型参数 'batch'}, "output":{0: 'batch',2:'batch',3:'batch'}) ? 3. 使用onnx推理预测 ?
4.8K30发布于 2021-01-27 - 来自专栏Java项目实战
解锁模型下载神器---免费加速插件
现在，让我向你们介绍一个非常优秀的插件，它将彻底改变你们的下载体验——超越传统的模型git加速插件！ 这个插将让你们拥有前所未有的下载速度和流畅体验。 而模型git加速插件应运而生，通过一系列智能优化算法，解决了这些问题，让你的下载速度如飞一般。 下面让我们来看看超越传统的模型git加速插件的几个关键特点： 1.快速而稳定的下载速度：借助高效的下载算法和全球分布的加速节点，插件能够将下载速度提升至少50%，同时保证下载的稳定性和可靠性，让你不再为漫长的下载等待而苦恼 3.可视化下载统计：插件提供实时的下载统计信息，让你清晰了解每个模型的下载速度、流量消耗等数据。你可以根据这些数据合理安排下载任务，节省流量，并更好地管理你的工作。 1.下载本地git安装包解压即用 拉取大模型加速器和git安装包：后台回复【神器】即可 2.解压即用 3.更改为本地安装路径 4.勾选功能 5.安装后成功 6.其他默认下一步即可 加速器使用双击exe即可全部选中
77020编辑于 2023-11-15 - 来自专栏贾志刚-OpenCV学堂
使用OpenVINO加速Pytorch表情识别模型
微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 关于模型 OpenVINO自带的表情识别模型是Caffe版本的，这里使用的模型是前面一篇文章中训练生成的pytorch全卷积网络，模型基于残差网络结构全卷积分类网络 = torch.randn(1, 3, 64, 64, device='cuda') model = torch.load(". 答案是借助OpenVINO的模型优化器组件工具，OpenVINO的模型优化器组件工具支持常见的Pytorch预训练模型与torchvision迁移训练模型的转换， ? 加速推理 使用OpenVINO的Inference Engine加速推理，对得到的模型通过OpenVINO安装包自带的OpenCV DNN完成调用，设置加速推理引擎为Inference Engine， 执行加速推理。
1.9K20发布于 2020-07-13 - 来自专栏深度学习和计算机视觉
深度学习模型压缩与加速综述
导读 本文详细介绍了4种主流的压缩与加速技术：结构优化、剪枝、量化、知识蒸馏，作者分别从每个技术结构与性能表现进行陈述。 近年来，深度学习模型在CV、NLP等领域实现了广泛应用。 因此，如何在不影响深度学习模型性能的情况下进行模型压缩与加速，成为了学术界和工业界的研究热点。 1、简介 深度学习模型压缩与加速是指利用神经网络参数和结构的冗余性精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。 （事实上，压缩和加速是有区别的，压缩侧重于减少网络参数量，加速侧重于降低计算复杂度、提升并行能力等，压缩未必一定能加速，本文中我们把二者等同看待） 必要性：主流的模型，如VGG-16，参数量1亿3千多万 3、应用实例 以下列举几个知识蒸馏的应用实例。
1.2K21编辑于 2022-02-10 - 来自专栏SIGAI学习与实践平台
深度学习模型压缩与加速综述
本文主要介绍深度学习模型压缩和加速算法的三个方向，分别为加速网络结构设计、模型裁剪与稀疏化、量化加速。 关键词：深度学习、模型压缩、模型加速 I.加速网络设计 分组卷积 分组卷积即将输入的feature maps分成不同的组（沿channel维度进行分组），然后对不同的组分别进行卷积操作，即每一个卷积核至于输入的 总结 本节主要介绍了模型模型设计的思路，同时对模型的加速设计以及相关缺陷进行分析。总的来说，加速网络模型设计主要是探索最优的网络结构，使得较少的参数量和计算量就能达到类似的效果。 II. FFT和Winograd变化实际上是可以实现极高的一个加速比，举个例子，Winograd变换对于3×3卷积，最高可以实现9倍的加速比，但精度损失严重。 总结 本文主要介绍了三种主流的深度学习模型压缩和模型加速的方向，分别为：加速网络结构设计，即通过优化网络结构的设计去减少模型的冗余和计算量；模型裁剪和稀疏化，即通过对不重要的网络连接进行裁剪，模型裁剪主要针对已经训练好的模型
1.5K70发布于 2019-06-13 - 来自专栏贾志刚-OpenCV学堂
深度学习模型压缩与加速综述
本文主要介绍深度学习模型压缩和加速算法的三个方向，分别为加速网络结构设计、模型裁剪与稀疏化、量化加速。 关键词：深度学习、模型压缩、模型加速 I.加速网络设计 分组卷积 分组卷积即将输入的feature maps分成不同的组（沿channel维度进行分组），然后对不同的组分别进行卷积操作，即每一个卷积核至于输入的 总结 本节主要介绍了模型模型设计的思路，同时对模型的加速设计以及相关缺陷进行分析。总的来说，加速网络模型设计主要是探索最优的网络结构，使得较少的参数量和计算量就能达到类似的效果。 II. FFT和Winograd变化实际上是可以实现极高的一个加速比，举个例子，Winograd变换对于3×3卷积，最高可以实现9倍的加速比，但精度损失严重。 总结 本文主要介绍了三种主流的深度学习模型压缩和模型加速的方向，分别为：加速网络结构设计，即通过优化网络结构的设计去减少模型的冗余和计算量；模型裁剪和稀疏化，即通过对不重要的网络连接进行裁剪，模型裁剪主要针对已经训练好的模型
95141发布于 2019-06-14 - 来自专栏AI技术探索和应用
使用vLLM加速大语言模型推理
区别于 chatglm.cpp 和 llama.cpp，仅是在 GPU 上的模型推理加速，没有 CPU 上的加速。 vllm-project/vllm 文档：https://vllm.readthedocs.io/en/latest/models/supported_models.html 支持 HuggingFace 上的模型 安装 pip install vllm 检查模型是否被 vLLM 支持，返回成功则是支持的。 from vllm import LLM llm = LLM(model=...
24K21编辑于 2024-03-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号