- 综合排序
- 最热优先
- 最新优先
工厂端部署轻量化模型
在工厂端部署轻量化模型通过TensorRT加速的ResNet，是制造业实现实时物料追溯与质量检测的关键技术路径。以下从技术原理、实施步骤、应用场景及优化策略四个维度展开说明：一、为何选择轻量化模型？ 模型轻量化改造架构优化： 将ResNet-50替换为ResNet-18或MobileNetV3，参数量减少80%以上。 模型更新与维护OTA升级机制：通过工厂内网推送新模型文件（.engine格式），无需停机。 A/B测试：新旧模型并行运行，对比准确率与稳定性后再全量切换。 AI方案模型选型： 基础模型：ResNet-34（ImageNet预训练） 轻量化后：剪枝至ResNet-12，INT8量化，体积从85MB→12MB。 结语 通过TensorRT等工具链优化ResNet类模型，可在工厂端实现低延迟、高能效、高鲁棒性的AI追溯应用。关键在于根据具体场景平衡模型精度与速度，并建立持续迭代的“数据-模型”闭环。
96310编辑于 2025-04-10- 来自专栏集智书童
全新轻量化模型 | 轻量化沙漏网络助力视觉感知涨点
在本研究中对堆叠的沙漏网络进行了架构和非架构修改，以获得一个既准确且计算效率高的模型。 在下文中对基线模型进行了简要描述。原始架构由多个堆叠的沙漏单元组成，每个沙漏单元由4个下采样和上采样级别组成。 该过程确保模型捕获局部和全局信息，这对于连贯地了解全身以获得准确的最终姿态估计非常重要。 模型的输出是每个关节的热图，该热图对每个像素处关节存在的概率进行建模。预测每个沙漏后的中间热图，并对其应用损失。
1.4K30编辑于 2023-02-26 - 来自专栏CSDN社区搬运
轻量化的长时间序列预测模型
通常，为了实现精确的预测，需要依赖强大而复杂的深度学习模型，例如递归神经网络（RNNs）、时间卷积网络（TCNs）和Transformer模型。 具体来说，在模型输入前减去序列的均值，并在模型输出后加回。这个过程可以减少模型对数据分布变化的敏感性。 SparseTSF在这些指标上显著优于其他模型。 为分析超参数ww对SparseTSF模型预测性能的影响，论文在ETTh1数据集上，使用不同的ww值进行实验，观察模型性能的变化。 在图a中，线性模型学习到的权重分布呈现出较为均匀的条纹状模式。这些条纹代表了模型从数据中提取的周期性特征。图b展示了SparseTSF模型学习到的权重分布。 与线性模型相比，SparseTSF模型的权重分布呈现出更明显、更密集的等间距条纹。这表明SparseTSF模型在提取周期特征方面更为有效，能够更准确地捕捉时间序列数据中的周期性模式。
90510编辑于 2024-12-01 - 来自专栏IT技术订阅
DeepSeek模型轻量化：模型压缩与知识蒸馏技术解析
引言：模型轻量化的必要性 近年来，深度学习模型在自然语言处理、计算机视觉等领域取得了突破性进展，模型参数量从百万级迅速增长至千亿甚至万亿级别。 模型压缩通过量化、剪枝、低秩分解等技术减少模型冗余，而知识蒸馏则通过迁移大模型的知识提升小模型的性能。两者的结合为模型轻量化提供了系统化解决方案，并在边缘计算、实时服务等领域展现了巨大潜力。 在边缘计算场景中，压缩后的模型可在手机端实现实时文本生成，延迟低于500ms。在金融领域，轻量化模型被用于实时交易风控，实现毫秒级欺诈检测。 自动驾驶系统通过压缩3D目标检测模型，将推理延迟从100ms降至30ms，显著提升系统响应速度。 挑战与未来方向 尽管DeepSeek的技术方案成效显著，模型轻量化仍面临诸多挑战。 DeepSeek R1的轻量化版本的硬件要求 DeepSeek R1的轻量化版本在硬件要求上展现了显著的灵活性，能够适应从高端服务器到普通消费级设备的多种场景。
3K30编辑于 2025-02-05 - 来自专栏《Cloud Studio》
轻量化体验 Stable Diffusion 模型！
我们提供应用模板，所有模型、插件已经下载完毕 从萌新到大师，零学习成本上手！ 当前绑定腾讯云账户会自动赠送 50 机时。怕用完？别担心！
45310编辑于 2025-07-01 - 来自专栏深度学习与计算机视觉
轻量化网络：SqueezeNet模型网络结构
SqueezeNet是轻量化网络的代表结构之一，不太严格的说，在轻量化模型这个范畴中，Squeezenet是最早的一个，其针对ImageNet数据集分类任务的模型大小只有4.8M，这还包括了最后512* ，而一个不到0.5M的模型可以得到alxnet相似的准确率是很难得的，这使得模型向移动端部署成为可能。 为什么模型小？ Squeezenet模型为什么小呢，没别的，因为参数少，Squeezenet全部采用常规的空间卷积操作，在参数数量上和其他模型计算方法是一样的，所以它的模型体量小就是因为卷积核用的少，但是它并没有像论文题目中写的那样小的不超过 ，它最开始关注模型的大小的问题，而不是提高准确率。
1.8K10发布于 2019-05-26 - 来自专栏AI科技评论
学界 | MnasNet论文解读：终端轻量化模型新思路
终端轻量化神经网络模型需要同时考虑三个维度：参数少、速度快和精度高。 m 表示模型，ACC(m) 表示目标模型的准确率，LAT(m) 表示耗时，T 表示目标耗时。 如图 1 所示，模型包括三个部分：基于 RNN 的控制器，用于实现模型准确率的训练器，基于推断引擎测量耗时。论文采用评估-更新循环训练控制器，直到模型收敛。 3.2 层级搜索空间 ? 控制器在搜索架构中采样约 8k 个模型，但只有很少的模型（<15）转移到 ImageNet 和 COCO。 很多轻量化模型重复 block 架构，只改变滤波器尺寸和空间维度。论文提出的层级搜索空间允许模型的各个 block 包括不同的卷积层。
1.1K10发布于 2018-09-21 - 来自专栏澜舟科技 NLP
大模型轻量化实践路径 之 澜舟孟子预训练模型
所以在摩尔定律逐渐走向终结的今天，模型轻量化是必须要考虑的。图片轻量化路径1. 我们的轻量化技术结合了模型蒸馏、剪枝和量化，将大模型进行压缩得到轻量化模型，显著提升模型推理速度，改善用户体验。3.1 蒸馏图片不同的落地业务（如：在线业务，离线业务），对模型有不同尺寸需求。 孟子轻量化模型研发的主要目标是“构建同等规模下性能更强的模型”。 轻量化预训练模型落地场景孟子 Mengzi 不仅仅是追求模型本身的轻量化，也希望大家在具体场景中能够灵活高效地部署。这里也为大家介绍一下轻量化预训练模型具体落地场景。 图片总结本次演讲总结了澜舟轻量化技术实践的 5 种路径，包括语言学知识增强、训练优化技术、模型压缩（蒸馏、剪枝和量化）、检索增强、多任务，并分享了澜舟孟子轻量化预训练模型在垂直领域机器翻译、智能辅助写作
1.9K10编辑于 2022-07-29 轻量化大语言模型：高效生成结构化数据
轻量化大语言模型：高效生成结构化数据当今生成模型的一个重要特性是，能够将非结构化、部分结构化或结构不良的输入转换为符合特定模式的结构化对象，例如关系数据库固定模式、文档存储灵活模式、函数签名、API规范等 在两篇近期发表于自然语言处理实证方法会议（EMNLP）和arXiv的论文中，我们以专门的轻量化结构化对象语言模型（SoLM）的形式提出了针对此问题的原生方法。 在这种情况下，我们仅向模型输入一个已经根据模式结构化的对象，并让模型端到端地重新生成它。此时，任务不再是结构化输入，而是清理、规范化、纠正和/或完善它，并使其内部一致。 创新为了训练SoLM模型，我们使用了自监督去噪。其思想是使用现有数据库中的任何对象样本，向这些对象中引入人工噪声，并训练模型恢复其原始形式。因此，模型学会提高我们输入的任何对象的质量。 但我们也尝试了一个单独训练的置信度评分模型，该模型以LLM某个内层产生的中间表示为输入。实际上，这种方法比直接依赖模型的置信度得分效果更好。
23310编辑于 2025-12-16《探秘鸿蒙Next：模型轻量化的能源效益衡量之道》
在鸿蒙Next的生态体系中，模型轻量化对于设备的能源效益提升至关重要。以下是一些衡量模型轻量化为鸿蒙Next设备带来能源效益的方法和要点。 例如，通过测量轻量化模型在图像识别任务中的CPU功耗，对比原始模型，若轻量化后CPU平均功耗降低了20%，则说明在CPU能耗方面有显著优化。 通过对比原始模型和轻量化模型运行时的整体功耗，能全面了解模型轻量化对设备能源消耗的影响。 例如，在智能办公场景中，使用轻量化模型的设备从满电到电量耗尽可使用8小时，而原始模型设备只能使用6小时，表明轻量化模型有助于延长电池续航。 对比原始模型和轻量化模型的存储大小，以及在存储读写操作时的能源消耗，若轻量化模型存储读写能耗降低了15%，则说明在存储方面实现了能源效益提升。
27710编辑于 2025-01-21- 来自专栏机器学习AI算法工程
yolov8 模型架构轻量化，极致降低参数量
模型轻量化加速是深度学习领域的重要研究方向，旨在减小模型的体积和计算复杂度，从而提高在资源受限设备上的运行效率，模型参数量在轻量化加速中扮演着至关重要的角色。 因此，在模型轻量化加速过程中，通过合理减少参数量，可以在保持模型性能的同时，实现模型的轻量化。 为了降低模型参数量，研究人员采用了多种方法，如剪枝、量化、蒸馏等。 本文将从另外一个角度，即模型的结构设计方面，实现参数量的最小，并以YOLOV8为例子，通过模型结构的轻量化设计，在保证模型性能稳定不变的前提下极致的压缩参数量 一、设计思路 从模型结构看V8主要有两个大的模块构成 检测头轻量化参数 论文地址：https://arxiv.org/pdf/2306.15988.pdf 主要改进机制: 1.底层特征融合: AFPN通过引入底层特征的逐步融合，首先融合底层特征，接着深层特征 模型结构轻量化参数对比 原yolov8参数：3011043 轻量化后参数：1436977 通过以上模块的替换使得模型参数降低至原来的一半不到，且精度不变，这是通过剪枝、蒸馏都没办到的
4.6K11编辑于 2024-05-29 - 来自专栏登神长阶
【论文复现】基于图卷积网络的轻量化推荐模型
概述 图卷积网络（Graph Convolution Network，GCN）已经广泛的应用于推荐系统，基于GCN的协同过滤算法（例如NGCF）缺少消融研究，此模型对NGCF进行了消融实验并提出了轻量化卷积网络 本文所涉及的所有资源的获取方式：这里 传统的GCN推荐模型（以NGCF为例） 其中的线性变换和非线性激活函数导致模型庞大，速度很慢，难于理解。 本模型的优势在于，轻量化了NGCF模型，在参数更小，速度更快的基础上，还提升了性能。 模型讲解 模型集合了Item和User的邻居信息，切只保留这部分信息，通过多层的GCN，最后求均值，得到了最终的u、i向量，最后进行Prediction。 to go(dropout:{self.config['dropout']})") # print("save_txt") 核心逻辑就是去掉传统图卷积中的非线性激活函数和线性变换，轻量化了模型
41110编辑于 2024-11-24 - 来自专栏YOLO大作战
YOLOv8轻量化：模型轻量化设计 | 轻量级可重参化EfficientRep| 来自YOLOv6思想
本文解决什么问题：在几乎不保证精度下降的前提下，轻量级模型创新设计EfficientRep 在关键点检测任务中 | GFLOPs从9.6降低至8.5， mAP50从0.921下降至0.912，mAP50 在 YOLOv6 中，基于硬件友好的网络设计原则，提出了两个可缩放的可重参数Backbone和Neck以适应不同大小的模型，以及一个具有混合通道策略的高效解耦Head。
1.9K70编辑于 2023-11-08 《解锁AI模型压缩密码，开启元应用轻量化新时代》
此时，人工智能的模型压缩技术成为了破局的关键，它如同一把精巧的手术刀，对庞大的AI模型进行“瘦身”，以适配元应用对轻量化和低能耗的严苛需求。 通过训练一个学生模型来模仿教师模型的行为，学生模型可以学习到教师模型的关键知识和决策模式。 在自然语言处理任务中，教师模型可以是一个参数众多、性能强大的语言模型，而学生模型则是经过蒸馏后的轻量化版本，尽管参数较少，但依然能够在保持一定性能的前提下，快速处理文本，实现文本分类、情感分析等功能。 适配元应用的具体策略与实践在元应用的实际场景中，模型压缩技术需要与元应用的特点紧密结合，以实现最佳的轻量化和低能耗效果。在虚拟现实（VR）和增强现实（AR）元应用中，实时性和交互性是关键。 同时，模型压缩技术与其他新兴技术，如量子计算、联邦学习的结合，也将为元应用的发展带来更多的创新机遇，推动元应用走向更加轻量化、低能耗、高性能的新时代。
32500编辑于 2025-02-28- 来自专栏AI
大语言模型轻量化：知识蒸馏的范式迁移与工程实践
大语言模型轻量化：知识蒸馏的范式迁移与工程实践 嗨，我是LucianaiB！ 总有人间一两风，填我十万八千梦。 路漫漫其修远兮，吾将上下而求索。 一、模型压缩的技术演进与知识蒸馏范式1.1 大语言模型的部署困境以GPT-3（175B参数）、PaLM（540B参数）为代表的超大规模语言模型，虽然在NLP任务中展现出惊人的泛化能力，但其部署面临三重挑战 我们将训练一个 教师模型 和 学生模型，并使用 KL 散度 损失来优化学生模型。 transforms.ToTensor()), batch_size=32, shuffle=True)train_model()代码解读：TeacherModel 和 StudentModel 分别表示大模型和小模型 通过 distillation_loss 函数，计算学生模型的蒸馏损失。训练过程中，学生模型通过学习教师模型的知识，逐步逼近其性能。五、结语知识蒸馏技术正推动大语言模型从实验室走向产业落地。
46800编辑于 2025-02-05 - 来自专栏语言、知识与人工智能
最简单的模型轻量化方法：20行代码为BERT剪枝
| 导语 BERT模型在多种下游任务表现优异，但庞大的模型结果也带来了训练及推理速度过慢的问题，难以满足对实时响应速度要求高的场景，模型轻量化就显得非常重要。 模型轻量化 模型轻量化是业界一直在探索的一个课题，尤其是当你使用了BERT系列的预训练语言模型，inference速度始终是个绕不开的问题，而且训练平台可能还会对训练机器、速度有限制，训练时长也是一个难题 目前业界上主要的轻量化方法如下： 蒸馏：将大模型蒸馏至小模型，思路是先训练好一个大模型，输入原始数据得到logits作为小模型的soft label，而原始数据的标签则为hard label，使用soft 我们团队对这些轻量化方法都进行了尝试，简单总结如下： 蒸馏：可以很好地将大模型的能力教给小模型，将12层BERT蒸馏至2层BERT，可以达到非常接近的效果。但这种方法需要先训练出一个大模型。 或许可以继续优化~ 小结：对BERT系列模型来说，剪枝是一个非常不错的轻量化方法，很多下游任务可以不需要这么庞大的模型，也能达到很好的效果。
7.9K10发布于 2019-11-22 - 来自专栏集智书童
详细解读 | CVPR 2021轻量化目标检测模型MobileDets（附论文下载）
提供了MobileDets，一组在多个硬件平台(包括手机)上具有最先进的Mobile目标检测模型。 这两个模型将被用作baseline，以证明所提出的搜索空间在不同移动加速器上的有效性。 最近，多篇论文表明，通过直接搜索目标检测模型可以获得更好的延迟-精度权衡。 TuNAS构建了一个one-shot模型，该模型包含给定搜索空间中的所有架构选择，以及一个控制器，其目标是选择优化平台感知的奖励功能的架构。 在搜索过程中，one-shot模型和控制器一起训练。 该模型跨平台高保真度 。线性代价模型与之前提出的基于查找表的方法有关，但只要求在搜索空间内对随机选取的模型的延迟进行基准测试，而不要求度量卷积等单个网络操作的cost。
2.5K40发布于 2021-07-07 如何训练一个小而精的AI模型？轻量化策略解析
如何训练一个小而精的AI模型？轻量化策略解析在当今人工智能领域，深度学习模型的性能与体积往往呈正相关。然而，在资源受限的环境下，如移动设备或嵌入式系统，大型模型的应用受到严重限制。 因此，轻量化模型设计成为了一个热门的研究方向。本文将深入探讨如何训练一个小而精的AI模型，并通过实例解析轻量化策略的实现方法。 因此，轻量化模型设计的目标是在保持模型精度的基础上，进一步减少模型参数量和计算量。二、轻量化策略解析1. 四、总结与展望轻量化模型设计是AI领域的重要方向，通过模型剪枝、量化和知识蒸馏等技术，可以在资源受限的环境中实现高效运行。 未来，随着硬件技术的进步和自动化压缩工具的发展，轻量化模型的应用前景将更加广阔。希望本文能为读者提供关于轻量化模型设计的实用技巧和代码示例，助力大家在实际项目中实现高效的小而精AI模型。
88210编辑于 2025-04-09- 来自专栏DevOps时代的专栏
轻量化 Jenkins 最佳实践
前言 今天分享主题主要分成三个部分： 第一部分，Jenkins跟持续交付； 第二部分，Jenkins轻量化思路； 第三部分，Jenkins高可用实践。 二、Jenkins轻量化思路 2.1、使用jenkins的常见问题 接下来就是我今天所要谈的重点，刚才解释了为什么Jenkins所代表的CI/CD如此之重要，但现实里Jenkins还是会出现这样那样的问题 我们不希望Jenkins承载更多的东西，这也是为什么我提出轻量化Jenkins的概念，初衷在于给Jenkins减负。 ? 接下来我们看一看Jenkins的系统架构。 2.6、轻量化解决之道 那么轻量化的概念到底是什么意思呢？ 那么在实践Jenkins轻量化解决之道的过程中，我总结了一些套路和体系，其中以下八点内容希望可以帮助大家解决一些实际生产工作中Jenkins的性能问题，同时扩展大家的思路，共同探索Jenkins应用的最佳实践
4.9K90发布于 2018-02-02 - 来自专栏集智书童
Mobile-Former | MobileNet+Transformer轻量化模型(精度速度秒杀MobileNet)
2相关工作 2.1 轻量化CNN模型 mobilenet提出了一种在inverted bottleneck结构中使用depthwise和pointwise卷积对局部处理建模的有效方法。 Former sub-block和双向Bridge具有较高的计算效率，消耗小于所有Mobile-Former模型总计算量的20%。 作者遵循[36]来引用我们的模型的FLOPs，例如Mobile-Former-294M, Mobile-Former-96M。这些Mobile-Former模型的网络架构细节如下表。 局限性 Mobile-Former的主要限制是模型大小。 当从图像分类切换到目标检测任务时，由于去掉了分类头，模型大小问题得到了缓解。
2.6K20发布于 2021-08-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号