- 综合排序
- 最热优先
- 最新优先
工厂端部署轻量化模型
在工厂端部署轻量化模型通过TensorRT加速的ResNet，是制造业实现实时物料追溯与质量检测的关键技术路径。以下从技术原理、实施步骤、应用场景及优化策略四个维度展开说明：一、为何选择轻量化模型？ 模型轻量化改造架构优化： 将ResNet-50替换为ResNet-18或MobileNetV3，参数量减少80%以上。 2. 2. AI方案模型选型： 基础模型：ResNet-34（ImageNet预训练） 轻量化后：剪枝至ResNet-12，INT8量化，体积从85MB→12MB。
99710编辑于 2025-04-10- 来自专栏集智书童
全新轻量化模型 | 轻量化沙漏网络助力视觉感知涨点
在本研究中对堆叠的沙漏网络进行了架构和非架构修改，以获得一个既准确且计算效率高的模型。 在下文中对基线模型进行了简要描述。原始架构由多个堆叠的沙漏单元组成，每个沙漏单元由4个下采样和上采样级别组成。 该过程确保模型捕获局部和全局信息，这对于连贯地了解全身以获得准确的最终姿态估计非常重要。 模型的输出是每个关节的热图，该热图对每个像素处关节存在的概率进行建模。预测每个沙漏后的中间热图，并对其应用损失。 为了产生固定数量的通道，Ghost Bottleneck使用常规卷积输出一小部分通道，其余的则通过更简单的线性操作产生，如图2所示。这些通道通过连接和卷积输出所需的通道数量。 总损失，如式2所示，包括感知损失和预测损失中权重较高的原始预测损失。
1.4K30编辑于 2023-02-26 - 来自专栏IT技术订阅
DeepSeek模型轻量化：模型压缩与知识蒸馏技术解析
引言：模型轻量化的必要性 近年来，深度学习模型在自然语言处理、计算机视觉等领域取得了突破性进展，模型参数量从百万级迅速增长至千亿甚至万亿级别。 以GPT-4、PaLM-2为代表的大规模预训练模型虽然在任务性能上表现卓越，但其庞大的计算需求和存储开销严重制约了实际应用。 实验表明，混合精度训练可将训练速度提升2倍以上，同时保持与全精度训练相当的模型性能。 此外，DeepSeek开发了基于KL散度的量化校准算法。 在边缘计算场景中，压缩后的模型可在手机端实现实时文本生成，延迟低于500ms。在金融领域，轻量化模型被用于实时交易风控，实现毫秒级欺诈检测。 苹果芯片设备：例如，基于M2 Ultra芯片的Mac设备（如192GB内存版本）可高效运行7B的4bit量化模型，显存占用进一步降低。
3.1K30编辑于 2025-02-05 - 来自专栏CSDN社区搬运
轻量化的长时间序列预测模型
损失函数定义为： L=1C∑i=1C∥yt+1:t+H(i)−xˉt+1:t+H(i)∥2L=C1i=1∑C∥∥∥∥yt+1:t+H(i)−xˉt+1:t+H(i)∥∥∥∥2 代码解读 SparseTSF * (self.period_len // 2), stride=1, padding=self.period_len // 2, padding_mode -> b,c,s seq_mean = torch.mean(x, dim=1).unsqueeze(1) x = (x - seq_mean).permute(0, 2, y = self.mlp(x) # 对预测结果进行上采样: bc,w,m -> bc,m,w -> b,c,s y = y.permute(0, 2, (batch_size, self.enc_in, self.pred_len) # 对预测结果进行反归一化处理，将序列均值加回去 y = y.permute(0, 2,
92410编辑于 2024-12-01 - 来自专栏《Cloud Studio》
轻量化体验 Stable Diffusion 模型！
✨ 一键开启AI创作 无论你是Windows/Linux/macOS用户，在Cloud Studio上复刻后，点击 “运行按钮” 或者终端复制2行代码即可开跑，无需任何配置： cd stable-diffusion-webui 我们提供应用模板，所有模型、插件已经下载完毕 从萌新到大师，零学习成本上手！ 当前绑定腾讯云账户会自动赠送 50 机时。怕用完？别担心！ 后续还有海量赠送策略在路上等你来拿～ 超能力创作工具箱 解锁职业级创作场景 ： 1️⃣ 文字变神图 "a cute white cat" → 一键生成高清头像 2️⃣ 老照片重生 上传旧照→AI修复→
50010编辑于 2025-07-01 - 来自专栏深度学习与计算机视觉
轻量化网络：SqueezeNet模型网络结构
SqueezeNet是轻量化网络的代表结构之一，不太严格的说，在轻量化模型这个范畴中，Squeezenet是最早的一个，其针对ImageNet数据集分类任务的模型大小只有4.8M，这还包括了最后512* ，而一个不到0.5M的模型可以得到alxnet相似的准确率是很难得的，这使得模型向移动端部署成为可能。 为什么模型小？ Squeezenet模型为什么小呢，没别的，因为参数少，Squeezenet全部采用常规的空间卷积操作，在参数数量上和其他模型计算方法是一样的，所以它的模型体量小就是因为卷积核用的少，但是它并没有像论文题目中写的那样小的不超过 SqueezeNet变体 Squeezenet到现在已经出现了2年多了，已经出现了有很多以它为基础模型的变体网络，比如： 在Squeezenet上加入残差直连； 在Squeezenet上进行Deep
1.8K10发布于 2019-05-26 - 来自专栏澜舟科技 NLP
大模型轻量化实践路径 之 澜舟孟子预训练模型
所以在摩尔定律逐渐走向终结的今天，模型轻量化是必须要考虑的。图片轻量化路径1. 如图 2 下半部分表格，大家可以看到孟子 Mengzi 模型对应的分数的提升还是比较明显的。 图片2. 轻量化预训练模型落地场景孟子 Mengzi 不仅仅是追求模型本身的轻量化，也希望大家在具体场景中能够灵活高效地部署。这里也为大家介绍一下轻量化预训练模型具体落地场景。 在孟子预训练模型基础上，针对垂直领域进行微调，大幅提升模型迭代速度，并且充分利用垂直领域中的知识，用少量双语数据达到更好的翻译效果。图片2.
1.9K10编辑于 2022-07-29 - 来自专栏AI科技评论
学界 | MnasNet论文解读：终端轻量化模型新思路
终端轻量化神经网络模型需要同时考虑三个维度：参数少、速度快和精度高。 目前 Mobile V1&V2，shuffle Net V1 等 CNN 模型在移动端取得一定进展，但是使用间接评价标准，如 FLOPS 等，手工设计模型卷积架构难以在三个维度取得平衡。 2. Related Work CNN 模型压缩有一些常用的方式：量化、减枝和手工设计神经网络架构（卷积方式）。 比较著名的量化模型有 Deepcompression，Binary-Net，Tenary-Net，Dorefa-Net、SqueezeNet，Mobile V1&V2，shuffle Net V1&V2 2、层分级的重要性。很多轻量化模型重复 block 架构，只改变滤波器尺寸和空间维度。论文提出的层级搜索空间允许模型的各个 block 包括不同的卷积层。
1.1K10发布于 2018-09-21 轻量化大语言模型：高效生成结构化数据
轻量化大语言模型：高效生成结构化数据当今生成模型的一个重要特性是，能够将非结构化、部分结构化或结构不良的输入转换为符合特定模式的结构化对象，例如关系数据库固定模式、文档存储灵活模式、函数签名、API规范等 在两篇近期发表于自然语言处理实证方法会议（EMNLP）和arXiv的论文中，我们以专门的轻量化结构化对象语言模型（SoLM）的形式提出了针对此问题的原生方法。 在这种情况下，我们仅向模型输入一个已经根据模式结构化的对象，并让模型端到端地重新生成它。此时，任务不再是结构化输入，而是清理、规范化、纠正和/或完善它，并使其内部一致。 创新为了训练SoLM模型，我们使用了自监督去噪。其思想是使用现有数据库中的任何对象样本，向这些对象中引入人工噪声，并训练模型恢复其原始形式。因此，模型学会提高我们输入的任何对象的质量。 但我们也尝试了一个单独训练的置信度评分模型，该模型以LLM某个内层产生的中间表示为输入。实际上，这种方法比直接依赖模型的置信度得分效果更好。
24210编辑于 2025-12-16- 来自专栏机器学习AI算法工程
yolov8 模型架构轻量化，极致降低参数量
模型轻量化加速是深度学习领域的重要研究方向，旨在减小模型的体积和计算复杂度，从而提高在资源受限设备上的运行效率，模型参数量在轻量化加速中扮演着至关重要的角色。 因此，在模型轻量化加速过程中，通过合理减少参数量，可以在保持模型性能的同时，实现模型的轻量化。 为了降低模型参数量，研究人员采用了多种方法，如剪枝、量化、蒸馏等。 本文将从另外一个角度，即模型的结构设计方面，实现参数量的最小，并以YOLOV8为例子，通过模型结构的轻量化设计，在保证模型性能稳定不变的前提下极致的压缩参数量 一、设计思路 从模型结构看V8主要有两个大的模块构成 ，就是backbone和head模块，因此降低参数量我们就从这两模块开始 二、bakebone模块轻量化参数 1.CSPPC替换c2f卷积块 论文地址：https://arxiv.org/pdf/2303.03667 模型结构轻量化参数对比 原yolov8参数：3011043 轻量化后参数：1436977 通过以上模块的替换使得模型参数降低至原来的一半不到，且精度不变，这是通过剪枝、蒸馏都没办到的
4.6K11编辑于 2024-05-29 《探秘鸿蒙Next：模型轻量化的能源效益衡量之道》
在鸿蒙Next的生态体系中，模型轻量化对于设备的能源效益提升至关重要。以下是一些衡量模型轻量化为鸿蒙Next设备带来能源效益的方法和要点。 若轻量化模型使GPU在视频解码任务中的功耗从2W降低到1.5W，就体现了能源效益的提升。- 整体设备功耗：直接测量设备在运行模型时的整体功耗，包括屏幕、网络模块等其他组件的功耗。 通过对比原始模型和轻量化模型运行时的整体功耗，能全面了解模型轻量化对设备能源消耗的影响。 例如，在智能办公场景中，使用轻量化模型的设备从满电到电量耗尽可使用8小时，而原始模型设备只能使用6小时，表明轻量化模型有助于延长电池续航。 对比原始模型和轻量化模型的存储大小，以及在存储读写操作时的能源消耗，若轻量化模型存储读写能耗降低了15%，则说明在存储方面实现了能源效益提升。
28010编辑于 2025-01-21- 来自专栏登神长阶
【论文复现】基于图卷积网络的轻量化推荐模型
概述 图卷积网络（Graph Convolution Network，GCN）已经广泛的应用于推荐系统，基于GCN的协同过滤算法（例如NGCF）缺少消融研究，此模型对NGCF进行了消融实验并提出了轻量化卷积网络 本文所涉及的所有资源的获取方式：这里 传统的GCN推荐模型（以NGCF为例） 其中的线性变换和非线性激活函数导致模型庞大，速度很慢，难于理解。 本模型的优势在于，轻量化了NGCF模型，在参数更小，速度更快的基础上，还提升了性能。 to go(dropout:{self.config['dropout']})") # print("save_txt") 核心逻辑就是去掉传统图卷积中的非线性激活函数和线性变换，轻量化了模型 使用方式 1.首先在/data文件中导入items和user数据，运行data_init.py文件进行数据初始化 2.
43910编辑于 2024-11-24 - 来自专栏YOLO大作战
YOLOv8轻量化：模型轻量化设计 | 轻量级可重参化EfficientRep| 来自YOLOv6思想
本文解决什么问题：在几乎不保证精度下降的前提下，轻量级模型创新设计EfficientRep 在关键点检测任务中 | GFLOPs从9.6降低至8.5， mAP50从0.921下降至0.912，mAP50 在 YOLOv6 中，基于硬件友好的网络设计原则，提出了两个可缩放的可重参数Backbone和Neck以适应不同大小的模型，以及一个具有混合通道策略的高效解耦Head。 2.EfficientRep引入到YOLOv82.1 EfficientRep加入ultralytics/nn/block/EfficientRepBiPAN.py核心代码class RepBlock( self.conv1 = BottleRep(in_channels, out_channels, basic_block=basic_block, weight=True) n = n // 2
1.9K70编辑于 2023-11-08 《解锁AI模型压缩密码，开启元应用轻量化新时代》
此时，人工智能的模型压缩技术成为了破局的关键，它如同一把精巧的手术刀，对庞大的AI模型进行“瘦身”，以适配元应用对轻量化和低能耗的严苛需求。 通过训练一个学生模型来模仿教师模型的行为，学生模型可以学习到教师模型的关键知识和决策模式。 在自然语言处理任务中，教师模型可以是一个参数众多、性能强大的语言模型，而学生模型则是经过蒸馏后的轻量化版本，尽管参数较少，但依然能够在保持一定性能的前提下，快速处理文本，实现文本分类、情感分析等功能。 适配元应用的具体策略与实践在元应用的实际场景中，模型压缩技术需要与元应用的特点紧密结合，以实现最佳的轻量化和低能耗效果。在虚拟现实（VR）和增强现实（AR）元应用中，实时性和交互性是关键。 同时，模型压缩技术与其他新兴技术，如量子计算、联邦学习的结合，也将为元应用的发展带来更多的创新机遇，推动元应用走向更加轻量化、低能耗、高性能的新时代。
33000编辑于 2025-02-28- 来自专栏AI
大语言模型轻量化：知识蒸馏的范式迁移与工程实践
大语言模型轻量化：知识蒸馏的范式迁移与工程实践 嗨，我是LucianaiB！ 总有人间一两风，填我十万八千梦。 路漫漫其修远兮，吾将上下而求索。 hidden_states # 多尺度损失计算 loss = 0 for t_hid, s_hid in zip(t_hidden_states[::2] t_hid.detach() / self.temp, dim=-1), reduction='batchmean' ) * (self.temp ** 2) bert-base-uncased')student = TinyBertForSequenceClassification( config=TinyBertConfig( num_labels=2, num_hidden_layers=4, intermediate_size=512 ))# 准备GLUE数据集dataset = load_dataset('glue', 'sst2'
48600编辑于 2025-02-05 MobileNetV2：面向移动端的高效神经网络架构革新——突破轻量化模型的设计边界
他们强调了MobileNetV2如何通过显著减少所需的操作数量和内存，同时保持相同的准确度，推动移动友好型计算机视觉模型的发展。主要贡献是一个新颖的层模块：具有线性瓶颈的反向残差。 MobileNetV1首次通过深度可分离卷积技术将计算成本降低8-9倍，而MobileNetV2在此基础上实现了架构级突破，开创了移动端高效模型的新范式。 这种结构有助于 MobileNetV2 在保持性能和降低计算成本之间取得平衡。在权衡利弊方面，论文提到了诸如宽度乘数和输入分辨率之类的超参数，这些超参数可以进行调整，使模型能够满足不同的计算需求。 假设您正在处理能力有限的移动设备上部署MobileNetV2 。您可以将输入分辨率降低到96x96像素，并使用0.5的宽度乘数。这将大幅减少运算次数和模型的整体大小，使其计算效率足以在移动设备上运行。 76.0%）开源生态支持TensorFlow Lite官方优化版本推理速度达25ms/帧（骁龙835平台）ONNX/PyTorch移动端部署工具链成熟，支持边缘设备实时推理七、未来演进方向MobileNetV2的成功验证了架构创新对模型效率的颠覆性影响
3K10编辑于 2025-04-24- 来自专栏语言、知识与人工智能
最简单的模型轻量化方法：20行代码为BERT剪枝
| 导语 BERT模型在多种下游任务表现优异，但庞大的模型结果也带来了训练及推理速度过慢的问题，难以满足对实时响应速度要求高的场景，模型轻量化就显得非常重要。 模型轻量化 模型轻量化是业界一直在探索的一个课题，尤其是当你使用了BERT系列的预训练语言模型，inference速度始终是个绕不开的问题，而且训练平台可能还会对训练机器、速度有限制，训练时长也是一个难题 目前业界上主要的轻量化方法如下： 蒸馏：将大模型蒸馏至小模型，思路是先训练好一个大模型，输入原始数据得到logits作为小模型的soft label，而原始数据的标签则为hard label，使用soft 我们团队对这些轻量化方法都进行了尝试，简单总结如下： 蒸馏：可以很好地将大模型的能力教给小模型，将12层BERT蒸馏至2层BERT，可以达到非常接近的效果。但这种方法需要先训练出一个大模型。 或许可以继续优化~ 小结：对BERT系列模型来说，剪枝是一个非常不错的轻量化方法，很多下游任务可以不需要这么庞大的模型，也能达到很好的效果。
7.9K10发布于 2019-11-22 如何训练一个小而精的AI模型？轻量化策略解析
如何训练一个小而精的AI模型？轻量化策略解析在当今人工智能领域，深度学习模型的性能与体积往往呈正相关。然而，在资源受限的环境下，如移动设备或嵌入式系统，大型模型的应用受到严重限制。 因此，轻量化模型设计成为了一个热门的研究方向。本文将深入探讨如何训练一个小而精的AI模型，并通过实例解析轻量化策略的实现方法。 因此，轻量化模型设计的目标是在保持模型精度的基础上，进一步减少模型参数量和计算量。二、轻量化策略解析1. (5, 2))# 将模型转换为量化模型quantized_model = torch.quantization.quantize_dynamic( model, {nn.Linear}, dtype 未来，随着硬件技术的进步和自动化压缩工具的发展，轻量化模型的应用前景将更加广阔。希望本文能为读者提供关于轻量化模型设计的实用技巧和代码示例，助力大家在实际项目中实现高效的小而精AI模型。
90810编辑于 2025-04-09- 来自专栏集智书童
详细解读 | CVPR 2021轻量化目标检测模型MobileDets（附论文下载）
2前人工作 2.1 Mobile Object Detection 物体检测是一个经典的计算机视觉任务，其目标是学习识别图像中感兴趣的物体。 高效的backbone，如MobileNetV2、MobileNetV3，与SSDLite配对，以实现最先进的移动检测结果。 3重新回顾全卷积移动搜索空间 Are IBNs all we need Inverted Bottleneck(IBN)的布局如图2所示。 具体来说，提出了2个灵活的层分别进行通道扩展和压缩，具体如下。 3.1 融合IBN层(扩展) 深度可分离卷积是IBN的关键(图2)。 该模型跨平台高保真度 。线性代价模型与之前提出的基于查找表的方法有关，但只要求在搜索空间内对随机选取的模型的延迟进行基准测试，而不要求度量卷积等单个网络操作的cost。
2.5K40发布于 2021-07-07 - 来自专栏DevOps时代的专栏
轻量化 Jenkins 最佳实践
前言 今天分享主题主要分成三个部分： 第一部分，Jenkins跟持续交付； 第二部分，Jenkins轻量化思路； 第三部分，Jenkins高可用实践。 他告诉我，简单来说Jenkins在每次启动的时候会做以下几件事：1，加载Jenkins主要的配置，也就是Jenkins的系统配置；2，会加载所有插件，插件越多，加载的内容也就越多，导致Jenkins性能越来越慢 我们不希望Jenkins承载更多的东西，这也是为什么我提出轻量化Jenkins的概念，初衷在于给Jenkins减负。 ? 接下来我们看一看Jenkins的系统架构。 第一个就是Jenkins Core，Jenkins Core就是Jenkins最核心的内容，我们常说的Jenkins 1.X，2.X版本，其实说的就是Jenkins Core的版本号，这里面包含了Jenkins 2.6、轻量化解决之道 那么轻量化的概念到底是什么意思呢？
4.9K90发布于 2018-02-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号