- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习、深度学习
模型加速
本文的思路比较简单，裁剪+量化一体训练模型分三个步骤： 1） Clipping 裁剪，将网络中的权重系数值接近0 的权重全部置零，当然这种置零是临时性的，后面的训练迭代根据实际情况调整。
1.1K30发布于 2019-05-26 - 来自专栏机器学习与统计学
深度学习模型加速：Pytorch模型转TensorRT模型
经过一段时间的调研与实践，算是对模型加速这方面有了一定的了解，便促成了此文。 1、如何实现模型加速？ 既然要提升效率，实现模型加速，那么具体应该怎么做呢？ 目前常用的深度学习模型加速的方法是：将pytorch/tensorflow等表示的模型转化为TensorRT表示的模型。 pytorch和tensorflow我们了解，那么TensorRT是什么呢？ TensorRT是NVIDIA公司出的能加速模型推理的框架，其实就是让你训练的模型在测试阶段的速度加快，比如你的模型测试一张图片的速度是50ms，那么用tensorRT加速的话，可能只需要10ms。 我将实现深度学习模型加速整体分成了两部分： 模型转换部分。实现 Pytorch/Tensorflow Model -> TensorRT Model 的转换。 模型推断（Inference）部分。 深度学习模型加速是一个繁杂的任务，需要注意的是，本文并没有对各个内容进行详细的讲解，更多的是提供一种整体的框架、流程，并给出相应的解决指南，这一点从文中嵌入的各个链接也可以看出。
1.8K21编辑于 2024-06-11 - 来自专栏机器学习、深度学习
模型加速--Slimmable neural networks
Slimmable neural networks ICLR2019 Code and models will be released 可瘦身的神经网络，针对不同硬件和运行环境，可以快速提供与之相适应的CNN模型来完成任务 硬件配置好的，给一个大模型，硬件配置差的，给一个小点的模型。 同一个模型，设置一下参数就可以了 At runtime, the network can adjust its width on the fly according to on-device benchmarks 同一个网络模型在不同的设备上运算时间也是不一样的。 反过来，对于不同的硬件设备及运行环境，我们能否快速的提供与之相适应的CNN网络模型来完成相关的任务了？ ?
66230发布于 2019-05-26 - 来自专栏GoCoding
TVM 加速模型，优化推断
TVM 是一个开源深度学习编译器，可适用于各类 CPUs, GPUs 及其他专用加速器。它的目标是使得我们能够在任何硬件上优化和运行自己的模型。 不同于深度学习框架关注模型生产力，TVM 更关注模型在硬件上的性能和效率。 本文只简单介绍 TVM 的编译流程，及如何自动调优自己的模型。 其中流程见下图： 从高层次上看，包含了如下步骤： 导入（Import）：前端组件将模型提取进 IRModule，其是模型内部表示（IR）的函数集合。 调优模型 TVM 文档 User Tutorial[2] 从怎么编译优化模型开始，逐步深入到 TE, TensorIR, Relay 等更底层的逻辑结构组件。 这里只讲下如何用 AutoTVM 自动调优模型，实际了解 TVM 编译、调优、运行模型的过程。
96420编辑于 2022-05-27 - 来自专栏计算机视觉战队
预告 | 模型加速压缩——精度无损
今天主要是预先告知大家下一期我们发送的内容，主要是模型压缩！如果你们有想了解或深入熟悉的框架，可以在留言处告诉我们，我们也会第一时间把大家希望的分享出来，我们一起学习讨论，共同进步！ 预告 ? 因此这些方法的性能通常取决于给定的预训练模型。对基本操作和体系结构的改进将使它们走得更远。 虽然Xception、MobileNets、MobileNetV2、MobileNetV3、ShuffleNet和ShuffleNetV2等轻量级模型以很少的FLOPs获得了很好的性能，但是它们特征图之间的相关性和冗余性一直没有得到很好的利用
40310发布于 2020-06-06 - 来自专栏数据科学（冷冻工厂）
PyTorch | 加速模型训练的妙招
引言 提升机器学习模型的训练速度是每位机器学习工程师的共同追求。训练速度的提升意味着实验周期的缩短，进而加速产品的迭代过程。同时，这也表示在进行单一模型训练时，所需的资源将会减少。
46510编辑于 2024-07-16 - 来自专栏AI研习社
加速BERT模型：从架构优化、模型压缩到模型蒸馏
不过如果能够加速，当然也是好的，因为迭代越快，你就能越早地解决你的问题。 这在神经网络中并不陌生，其他领域（例如计算机视觉）以前也有相同的问题，并且已经开发了几种压缩和加速神经网络模型的方法。 ，该模型能够复制原始模型的行为。 1、架构和优化改进 大规模分布式训练 加速 BERT 训练能够想到的第一件事（甚至是第零件事）是将其分发到更大的集群当中。 需要强调，以上所介绍的方法并不互相冲突，所以我们期待能够将这些方法协同起来使用来加速 BERT 模型（或其他相似模型）。
3.4K51发布于 2019-11-01 - 来自专栏CSDN博客
微调Whisper模型和加速推理
另外项目最后还对语音识别加速推理，使用了CTranslate2加速推理，提示一下，加速推理支持直接使用Whisper原模型转换，并不一定需要微调。 微调完成之后会有两个模型，第一个是Whisper基础模型，第二个是Lora模型，需要把这两个模型合并之后才能之后的操作。 python infer.py --audio_path=dataset/test.wav --model_path=models/whisper-large-v2-finetune 加速预测 众所周知 ，直接使用Whisper模型推理是比较慢的，所以这里提供了一个加速的方式，主要是使用了CTranslate2进行加速，首先要转换模型，把合并后的模型转换为CTranslate2模型。 --output_dir models/whisper-large-v2-ct2 --copy_files tokenizer.json --quantization float16 执行以下程序进行加速语音识别
3K30编辑于 2023-04-30 - 来自专栏深度学习自然语言处理
剪枝乱炖 | 模型加速与压缩
---- 作者：Colorjam https://zhuanlan.zhihu.com/p/97198052 剪枝是模型压缩的一个子领域，依据剪枝粒度可以分为非结构化/结构化剪枝，依据实现方法可以大致分为基于度量标准 剪枝之外 提升精度： 利用剪枝的方式来提升模型精度，比如DSD: Dense-Sparse-Dense Training for Deep Neural Networks(ICLR2017)利用非结构化剪枝 总结 一脉梳理下来感觉做纯的剪枝感觉很难了，对比人工设计的结构和准则，NAS出来的模型可以又小巧精度又高，剪枝也逐渐受其影响快、准、狠地寻找结构。 Reference 闲话模型压缩之网络剪枝（Network Pruning）篇 技术文章配图指南 下载一：中文版！学习TensorFlow、PyTorch、机器学习、深度学习和数据结构五件套！
1.2K20编辑于 2022-03-04 - 来自专栏机器学习AI算法工程
onnx实现对pytorch模型推理加速
Pytorch 模型转onnx 当提到保存和加载模型时，有三个核心功能需要熟悉： 1.torch.save：将序列化的对象保存到disk。这个函数使用Python的pickle 实用程序进行序列化。 3.torch.nn.Module.load_state_dict:使用反序列化状态字典加载 model's参数字典 保存加载模型2种方式，在保存模型进行推理时，只需要保存训练过的模型的学习参数即可，一个常见的 PyTorch约定是使用.pt或.pth文件扩展名保存模型。 如果不这样做， 将会产生不一致的推断结果 #在保存用于推理或恢复训练的通用检查点时，必须保存模型的state_dict Pytorch模型转onnx 举例模型是调用resnet50训练的4分类模型,训练过程调用 ，则需要先创建模型，再加载模型参数 import torch from models import resnet50 model = resnet50() #创建模型 weight = torch.load
4.8K30发布于 2021-01-27 - 来自专栏Java项目实战
解锁模型下载神器---免费加速插件
现在，让我向你们介绍一个非常优秀的插件，它将彻底改变你们的下载体验——超越传统的模型git加速插件！ 这个插将让你们拥有前所未有的下载速度和流畅体验。 它是专为开发者和AI研究人员设计的，旨在提高Git仓库中模型和代码的下载速度，提高工作效率，让你们更快地获得最新的模型和代码。 那么，你可能会问：“传统的Git下载速度为什么会那么慢呢？” 而模型git加速插件应运而生，通过一系列智能优化算法，解决了这些问题，让你的下载速度如飞一般。 下面让我们来看看超越传统的模型git加速插件的几个关键特点： 1.快速而稳定的下载速度：借助高效的下载算法和全球分布的加速节点，插件能够将下载速度提升至少50%，同时保证下载的稳定性和可靠性，让你不再为漫长的下载等待而苦恼 1.下载本地git安装包解压即用 拉取大模型加速器和git安装包：后台回复【神器】即可 2.解压即用 3.更改为本地安装路径 4.勾选功能 5.安装后成功 6.其他默认下一步即可 加速器使用双击exe即可全部选中
75520编辑于 2023-11-15 - 来自专栏贾志刚-OpenCV学堂
使用OpenVINO加速Pytorch表情识别模型
微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 关于模型 OpenVINO自带的表情识别模型是Caffe版本的，这里使用的模型是前面一篇文章中训练生成的pytorch全卷积网络，模型基于残差网络结构全卷积分类网络 pt文件，通过pytorch自带的脚本可以转换为ONNX模型，这一步的转换脚本如下： dummy_input = torch.randn(1, 3, 64, 64, device='cuda') model 答案是借助OpenVINO的模型优化器组件工具，OpenVINO的模型优化器组件工具支持常见的Pytorch预训练模型与torchvision迁移训练模型的转换， ? 加速推理 使用OpenVINO的Inference Engine加速推理，对得到的模型通过OpenVINO安装包自带的OpenCV DNN完成调用，设置加速推理引擎为Inference Engine， ，并使用inference engine执行加速推理。
1.9K20发布于 2020-07-13 - 来自专栏SIGAI学习与实践平台
深度学习模型压缩与加速综述
本文主要介绍深度学习模型压缩和加速算法的三个方向，分别为加速网络结构设计、模型裁剪与稀疏化、量化加速。 关键词：深度学习、模型压缩、模型加速 I.加速网络设计 分组卷积 分组卷积即将输入的feature maps分成不同的组（沿channel维度进行分组），然后对不同的组分别进行卷积操作，即每一个卷积核至于输入的 总结 本节主要介绍了模型模型设计的思路，同时对模型的加速设计以及相关缺陷进行分析。总的来说，加速网络模型设计主要是探索最优的网络结构，使得较少的参数量和计算量就能达到类似的效果。 II. 总结 本文主要介绍了三种主流的深度学习模型压缩和模型加速的方向，分别为：加速网络结构设计，即通过优化网络结构的设计去减少模型的冗余和计算量；模型裁剪和稀疏化，即通过对不重要的网络连接进行裁剪，模型裁剪主要针对已经训练好的模型 当然，深度学习模型压缩和加速的方法不局限于我在本文中的介绍，还有其他很多类似的压缩和加速算法，如递归二值网络等。
1.5K70发布于 2019-06-13 - 来自专栏深度学习和计算机视觉
深度学习模型压缩与加速综述
导读 本文详细介绍了4种主流的压缩与加速技术：结构优化、剪枝、量化、知识蒸馏，作者分别从每个技术结构与性能表现进行陈述。 近年来，深度学习模型在CV、NLP等领域实现了广泛应用。 因此，如何在不影响深度学习模型性能的情况下进行模型压缩与加速，成为了学术界和工业界的研究热点。 1、简介 深度学习模型压缩与加速是指利用神经网络参数和结构的冗余性精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。 （事实上，压缩和加速是有区别的，压缩侧重于减少网络参数量，加速侧重于降低计算复杂度、提升并行能力等，压缩未必一定能加速，本文中我们把二者等同看待） 必要性：主流的模型，如VGG-16，参数量1亿3千多万 压缩与加速，大体可以从三个层面来做：算法层、框架层、硬件层，本文仅讨论算法层的压缩与加速技术。
1.2K21编辑于 2022-02-10 - 来自专栏AI技术探索和应用
使用vLLM加速大语言模型推理
区别于 chatglm.cpp 和 llama.cpp，仅是在 GPU 上的模型推理加速，没有 CPU 上的加速。 vllm-project/vllm 文档：https://vllm.readthedocs.io/en/latest/models/supported_models.html 支持 HuggingFace 上的模型 安装 pip install vllm 检查模型是否被 vLLM 支持，返回成功则是支持的。 from vllm import LLM llm = LLM(model=...
23.9K21编辑于 2024-03-13 - 来自专栏贾志刚-OpenCV学堂
深度学习模型压缩与加速综述
本文主要介绍深度学习模型压缩和加速算法的三个方向，分别为加速网络结构设计、模型裁剪与稀疏化、量化加速。 关键词：深度学习、模型压缩、模型加速 I.加速网络设计 分组卷积 分组卷积即将输入的feature maps分成不同的组（沿channel维度进行分组），然后对不同的组分别进行卷积操作，即每一个卷积核至于输入的 总结 本节主要介绍了模型模型设计的思路，同时对模型的加速设计以及相关缺陷进行分析。总的来说，加速网络模型设计主要是探索最优的网络结构，使得较少的参数量和计算量就能达到类似的效果。 II. 总结 本文主要介绍了三种主流的深度学习模型压缩和模型加速的方向，分别为：加速网络结构设计，即通过优化网络结构的设计去减少模型的冗余和计算量；模型裁剪和稀疏化，即通过对不重要的网络连接进行裁剪，模型裁剪主要针对已经训练好的模型 当然，深度学习模型压缩和加速的方法不局限于我在本文中的介绍，还有其他很多类似的压缩和加速算法，如递归二值网络等。
94741发布于 2019-06-14 - 来自专栏人工智能前沿讲习
模型加速与压缩 | 剪枝乱炖
剪枝是模型压缩的一个子领域，依据剪枝粒度可以分为非结构化/结构化剪枝，依据实现方法可以大致分为基于度量标准/基于重建误差/基于稀疏训练的剪枝，并且逐渐有向AutoML发展的趋势。 剪枝之外 提升精度： 利用剪枝的方式来提升模型精度，比如DSD: Dense-Sparse-Dense Training for Deep Neural Networks(ICLR2017)利用非结构化剪枝 总结 一脉梳理下来感觉做纯的剪枝感觉很难了，对比人工设计的结构和准则，NAS出来的模型可以又小巧精度又高，剪枝也逐渐受其影响快、准、狠地寻找结构。 Reference 1、闲话模型压缩之网络剪枝（Network Pruning）篇 https://blog.csdn.net/jinzhuojun/article/details/100621397
2.4K30发布于 2020-06-05 - 来自专栏腾讯技术工程官方号的专栏
加速模型场景落地！腾讯大模型工具链全面升级
目前，腾讯围绕大模型已经构建起全链路的产品矩阵，包括底层基础设施、自研大模型、模型开发平台、智能体开发平台和面向场景的多元智能应用等，帮助企业客户将大模型快速落地到场景中去。 、智能客服、营销等全场景，为产业用户提供全链路的模型服务，让大模型真正实现落地，帮助企业提质增效。 大模型工具升级 加速落地产业场景 为了进一步降低大模型的使用门槛，今年5月，腾讯云发布了“大模型知识引擎”、“大模型图像创作引擎”和“大模型视频创作引擎”三款PaaS工具，让企业能快速调用大模型的底层能力 TI平台提供从数据预处理、模型构建、模型训练、模型评估到模型服务的全流程开发支持，帮助企业加速开发，降本增效。 基于该数据集，研究人员可开发甲骨文检测、识别、摹本生成、字形匹配以及释读等方向的智能算法，助推甲骨文研究加速数字化和智能化。
1.1K10编辑于 2024-08-08 - 来自专栏深度学习和计算机视觉
加速 PyTorch 模型训练的 9 个技巧
我明白，网上都是各种神经网络加速指南，但是一个checklist都没有（现在有了），使用这个清单，一步一步确保你能榨干你模型的所有性能。 ） 移动到多个GPU-nodes中 (8+GPUs) 思考模型加速的技巧 Pytorch-Lightning 你可以在Pytorch的库Pytorch- lightning中找到我在这里讨论的每一个优化 保存h5py或numpy文件以加速数据加载的时代已经一去不复返了，使用Pytorch dataloader加载图像数据很简单(对于NLP数据，请查看TorchText)。 你得到的加速取决于你所使用的GPU类型。我推荐个人用2080Ti，公司用V100。 machine MUCH faster than DataParallel trainer = Trainer(distributed_backend='ddp', gpus=[0, 1, 2, 3]) 对模型加速的思考
1.2K20编辑于 2022-02-09 - 来自专栏亨利笔记
用KFServing加速联邦学习模型的部署
12月初召开的 CNCF KubeCon 中国线上虚拟会议上，我们 VMware 云原生实验室的工程师王方驰和社区合作伙伴做了一个演讲分享：用KFServing加速联邦学习模型的部署。 讲座将介绍使用 KFServing 为 KubeFATE 的联邦学习模型提供服务的实践，包括： 1. 简要介绍 Kubeflow、KFServing 和推断服务工作流程 2. 演示如何从水平训练的联邦学习模型创建服务
78120编辑于 2021-12-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号