- 综合排序
- 最热优先
- 最新优先
工厂端部署轻量化模型
在工厂端部署轻量化模型通过TensorRT加速的ResNet，是制造业实现实时物料追溯与质量检测的关键技术路径。以下从技术原理、实施步骤、应用场景及优化策略四个维度展开说明：一、为何选择轻量化模型？ 模型轻量化改造架构优化： 将ResNet-50替换为ResNet-18或MobileNetV3，参数量减少80%以上。 使用通道剪枝（Channel Pruning）移除冗余卷积核，压缩模型体积。 量化加速： 通过TensorRT的FP16/INT8量化，将模型从32位浮点转为低精度计算，推理速度提升2-4倍。 性能对比（Tesla T4 GPU环境）模型 参数量FP32延迟INT8延迟内存占用ResNet-50 (原始) 25.5M 22ms 7ms 190MB AI方案模型选型： 基础模型：ResNet-34（ImageNet预训练） 轻量化后：剪枝至ResNet-12，INT8量化，体积从85MB→12MB。
99710编辑于 2025-04-10- 来自专栏集智书童
全新轻量化模型 | 轻量化沙漏网络助力视觉感知涨点
在本研究中对堆叠的沙漏网络进行了架构和非架构修改，以获得一个既准确且计算效率高的模型。 在下文中对基线模型进行了简要描述。原始架构由多个堆叠的沙漏单元组成，每个沙漏单元由4个下采样和上采样级别组成。 该过程确保模型捕获局部和全局信息，这对于连贯地了解全身以获得准确的最终姿态估计非常重要。 模型的输出是每个关节的热图，该热图对每个像素处关节存在的概率进行建模。预测每个沙漏后的中间热图，并对其应用损失。 3、实验 3.1 Alternative bottlenecks 4、参考 [1].To Perceive or Not to Perceive: Lightweight Stacked Hourglass
1.4K30编辑于 2023-02-26 - 来自专栏IT技术订阅
DeepSeek模型轻量化：模型压缩与知识蒸馏技术解析
引言：模型轻量化的必要性 近年来，深度学习模型在自然语言处理、计算机视觉等领域取得了突破性进展，模型参数量从百万级迅速增长至千亿甚至万亿级别。 以GPT-4、PaLM-2为代表的大规模预训练模型虽然在任务性能上表现卓越，但其庞大的计算需求和存储开销严重制约了实际应用。 模型压缩通过量化、剪枝、低秩分解等技术减少模型冗余，而知识蒸馏则通过迁移大模型的知识提升小模型的性能。两者的结合为模型轻量化提供了系统化解决方案，并在边缘计算、实时服务等领域展现了巨大潜力。 在边缘计算场景中，压缩后的模型可在手机端实现实时文本生成，延迟低于500ms。在金融领域，轻量化模型被用于实时交易风控，实现毫秒级欺诈检测。 高性能需求场景的配置 分布式推理：对于完整的671B参数模型（如4bit量化版），需较高配置。
3.1K30编辑于 2025-02-05 - 来自专栏CSDN社区搬运
轻量化的长时间序列预测模型
通常，为了实现精确的预测，需要依赖强大而复杂的深度学习模型，例如递归神经网络（RNNs）、时间卷积网络（TCNs）和Transformer模型。 具体来说，在模型输入前减去序列的均值，并在模型输出后加回。这个过程可以减少模型对数据分布变化的敏感性。 0.417 0.138 0.146 0.164 0.203 复现结果 0.372 0.412 0.444 0.499 0.134 0.148 0.165 0.202 与论文中的结果对比，MSE整体增大约4% SparseTSF在这些指标上显著优于其他模型。 为分析超参数ww对SparseTSF模型预测性能的影响，论文在ETTh1数据集上，使用不同的ww值进行实验，观察模型性能的变化。 在图a中，线性模型学习到的权重分布呈现出较为均匀的条纹状模式。这些条纹代表了模型从数据中提取的周期性特征。图b展示了SparseTSF模型学习到的权重分布。
92410编辑于 2024-12-01 - 来自专栏《Cloud Studio》
轻量化体验 Stable Diffusion 模型！
CloudStudio自带T4GPU 空间，满足你的 AI 创作需求 ✅ 电脑太卡？全云端运行，能开浏览器就能用 ✅ 配环境难？ 我们提供应用模板，所有模型、插件已经下载完毕 从萌新到大师，零学习成本上手！ 当前绑定腾讯云账户会自动赠送 50 机时。怕用完？别担心！ 后续还有海量赠送策略在路上等你来拿～ 超能力创作工具箱 解锁职业级创作场景 ： 1️⃣ 文字变神图 "a cute white cat" → 一键生成高清头像 2️⃣ 老照片重生 上传旧照→AI修复→秒变4K 图片 3️⃣ 创意无限拓展 • 外绘延展：凭空拓展画面边界 • 局部重绘：指哪改哪的PS神器 4️⃣ 风格自由掌控 3D/精灵/科幻大片，50+预设风格任选 通过在设置中添加更多插件，可以拓展WebUI 机时使用按实际算力单价进行抵扣，如：T4 GPU空间机时与实际使用时间的兑换比例为 1.2 机时/小时。
50010编辑于 2025-07-01 - 来自专栏深度学习与计算机视觉
轻量化网络：SqueezeNet模型网络结构
SqueezeNet是轻量化网络的代表结构之一，不太严格的说，在轻量化模型这个范畴中，Squeezenet是最早的一个，其针对ImageNet数据集分类任务的模型大小只有4.8M，这还包括了最后512* ，而一个不到0.5M的模型可以得到alxnet相似的准确率是很难得的，这使得模型向移动端部署成为可能。 为什么模型小？ Squeezenet模型为什么小呢，没别的，因为参数少，Squeezenet全部采用常规的空间卷积操作，在参数数量上和其他模型计算方法是一样的，所以它的模型体量小就是因为卷积核用的少，但是它并没有像论文题目中写的那样小的不超过 ，它最开始关注模型的大小的问题，而不是提高准确率。
1.8K10发布于 2019-05-26 - 来自专栏澜舟科技 NLP
大模型轻量化实践路径 之 澜舟孟子预训练模型
所以在摩尔定律逐渐走向终结的今天，模型轻量化是必须要考虑的。图片轻量化路径1. 而且澜舟的剪枝量化相结合的方案可以提供更具适应性的落地方案，可根据用户的不同场景的需求快速构建部署符合需求的模型。4. 目前已经开源的 4 个模型分别是：BERT-style 的语言理解模型、T5-style 文本生成模型、金融分析模型和多模态预训练模型。 图片从上图可以看到，相对同等规模的模型，孟子 Mengzi 的 4 个模型针对下游任务的表现更加优秀。金融预训练模型比已有的通用模型，在若干金融 NLP 任务上有更好的效果。 轻量化预训练模型落地场景孟子 Mengzi 不仅仅是追求模型本身的轻量化，也希望大家在具体场景中能够灵活高效地部署。这里也为大家介绍一下轻量化预训练模型具体落地场景。
1.9K10编辑于 2022-07-29 - 来自专栏AI科技评论
学界 | MnasNet论文解读：终端轻量化模型新思路
终端轻量化神经网络模型需要同时考虑三个维度：参数少、速度快和精度高。 Shuffle Net V2 是最新发表在 ECCV2018 的论文，提出了四点准则，并对网络进行了四点改进：（1）使用相同的通道宽度的卷积；（2）考虑使用组卷积；（3）降低碎片化程度；（4）减少元素级运算 4. Experiment 论文直接在 ImageNet 训练集搜索最优解，之后进行少量的训练，从训练集选择 50K 图像作为验证集。 很多轻量化模型重复 block 架构，只改变滤波器尺寸和空间维度。论文提出的层级搜索空间允许模型的各个 block 包括不同的卷积层。 CVPR2018 . 4.
1.1K10发布于 2018-09-21 轻量化大语言模型：高效生成结构化数据
轻量化大语言模型：高效生成结构化数据当今生成模型的一个重要特性是，能够将非结构化、部分结构化或结构不良的输入转换为符合特定模式的结构化对象，例如关系数据库固定模式、文档存储灵活模式、函数签名、API规范等 在两篇近期发表于自然语言处理实证方法会议（EMNLP）和arXiv的论文中，我们以专门的轻量化结构化对象语言模型（SoLM）的形式提出了针对此问题的原生方法。 在这种情况下，我们仅向模型输入一个已经根据模式结构化的对象，并让模型端到端地重新生成它。此时，任务不再是结构化输入，而是清理、规范化、纠正和/或完善它，并使其内部一致。 创新为了训练SoLM模型，我们使用了自监督去噪。其思想是使用现有数据库中的任何对象样本，向这些对象中引入人工噪声，并训练模型恢复其原始形式。因此，模型学会提高我们输入的任何对象的质量。 但我们也尝试了一个单独训练的置信度评分模型，该模型以LLM某个内层产生的中间表示为输入。实际上，这种方法比直接依赖模型的置信度得分效果更好。
24210编辑于 2025-12-16- 来自专栏机器学习AI算法工程
yolov8 模型架构轻量化，极致降低参数量
模型轻量化加速是深度学习领域的重要研究方向，旨在减小模型的体积和计算复杂度，从而提高在资源受限设备上的运行效率，模型参数量在轻量化加速中扮演着至关重要的角色。 因此，在模型轻量化加速过程中，通过合理减少参数量，可以在保持模型性能的同时，实现模型的轻量化。 为了降低模型参数量，研究人员采用了多种方法，如剪枝、量化、蒸馏等。 本文将从另外一个角度，即模型的结构设计方面，实现参数量的最小，并以YOLOV8为例子，通过模型结构的轻量化设计，在保证模型性能稳定不变的前提下极致的压缩参数量 一、设计思路 从模型结构看V8主要有两个大的模块构成 例如，如果部分率设置为 1/4，则PConv的计算量只有常规卷积的 1/16. 2.降低内存访问:与常规卷积相比，PConv减少了内存访问量，这对于输入输出(/0)受限的设备尤其有益 3.保持特征信息流 模型结构轻量化参数对比 原yolov8参数：3011043 轻量化后参数：1436977 通过以上模块的替换使得模型参数降低至原来的一半不到，且精度不变，这是通过剪枝、蒸馏都没办到的
4.6K11编辑于 2024-05-29 《探秘鸿蒙Next：模型轻量化的能源效益衡量之道》
在鸿蒙Next的生态体系中，模型轻量化对于设备的能源效益提升至关重要。以下是一些衡量模型轻量化为鸿蒙Next设备带来能源效益的方法和要点。 例如，通过测量轻量化模型在图像识别任务中的CPU功耗，对比原始模型，若轻量化后CPU平均功耗降低了20%，则说明在CPU能耗方面有显著优化。 通过对比原始模型和轻量化模型运行时的整体功耗，能全面了解模型轻量化对设备能源消耗的影响。 例如，在智能办公场景中，使用轻量化模型的设备从满电到电量耗尽可使用8小时，而原始模型设备只能使用6小时，表明轻量化模型有助于延长电池续航。 对比原始模型和轻量化模型的存储大小，以及在存储读写操作时的能源消耗，若轻量化模型存储读写能耗降低了15%，则说明在存储方面实现了能源效益提升。
28010编辑于 2025-01-21- 来自专栏登神长阶
【论文复现】基于图卷积网络的轻量化推荐模型
概述 图卷积网络（Graph Convolution Network，GCN）已经广泛的应用于推荐系统，基于GCN的协同过滤算法（例如NGCF）缺少消融研究，此模型对NGCF进行了消融实验并提出了轻量化卷积网络 本文所涉及的所有资源的获取方式：这里 传统的GCN推荐模型（以NGCF为例） 其中的线性变换和非线性激活函数导致模型庞大，速度很慢，难于理解。 本模型的优势在于，轻量化了NGCF模型，在参数更小，速度更快的基础上，还提升了性能。 模型讲解 模型集合了Item和User的邻居信息，切只保留这部分信息，通过多层的GCN，最后求均值，得到了最终的u、i向量，最后进行Prediction。 to go(dropout:{self.config['dropout']})") # print("save_txt") 核心逻辑就是去掉传统图卷积中的非线性激活函数和线性变换，轻量化了模型
43910编辑于 2024-11-24 - 来自专栏AIWalker
CSL-YOLO | 超越Tiny-YOLO V4，全新设计轻量化YOLO模型实现边缘实时检测！！！
最后，利用该模块构建了轻量级检测器CSL-YOLO，在仅43% FLOPs和52%参数的情况下，实现了比TinyYOLOv4更好的检测性能。 2.2 构建轻量化组件 本文提出了2种轻量级组件CSL-Bone和CSL-FPN。这2个组件是目标检测器所必需的。 虽然对数函数可以限制模型的预测范围，但指数函数的敏感性使宽度和高度相当不稳定。因此去掉了log函数，让模型直接预测偏移量。 可以说，CSL-YOLO比先进的Tiny-YOLOv4占用更少的时间(FLOPs)和空间(参数)，并能实现令人印象深刻的AP性能。 4参考 [1].CSL-YOLO: A New Lightweight Object Detection System for Edge Computing
1.6K40发布于 2021-07-29 - 来自专栏YOLO大作战
YOLOv8轻量化：模型轻量化设计 | 轻量级可重参化EfficientRep| 来自YOLOv6思想
本文解决什么问题：在几乎不保证精度下降的前提下，轻量级模型创新设计EfficientRep 在关键点检测任务中 | GFLOPs从9.6降低至8.5， mAP50从0.921下降至0.912，mAP50 YOLOv6-N 在 NVIDIA Tesla T4 GPU 上以 1234 FPS 的吞吐量在 COCO 数据集上达到 35.9% 的 AP。 在 YOLOv6 中，基于硬件友好的网络设计原则，提出了两个可缩放的可重参数Backbone和Neck以适应不同大小的模型，以及一个具有混合通道策略的高效解耦Head。
1.9K70编辑于 2023-11-08 《解锁AI模型压缩密码，开启元应用轻量化新时代》
此时，人工智能的模型压缩技术成为了破局的关键，它如同一把精巧的手术刀，对庞大的AI模型进行“瘦身”，以适配元应用对轻量化和低能耗的严苛需求。 通过训练一个学生模型来模仿教师模型的行为，学生模型可以学习到教师模型的关键知识和决策模式。 在自然语言处理任务中，教师模型可以是一个参数众多、性能强大的语言模型，而学生模型则是经过蒸馏后的轻量化版本，尽管参数较少，但依然能够在保持一定性能的前提下，快速处理文本，实现文本分类、情感分析等功能。 适配元应用的具体策略与实践在元应用的实际场景中，模型压缩技术需要与元应用的特点紧密结合，以实现最佳的轻量化和低能耗效果。在虚拟现实（VR）和增强现实（AR）元应用中，实时性和交互性是关键。 同时，模型压缩技术与其他新兴技术，如量子计算、联邦学习的结合，也将为元应用的发展带来更多的创新机遇，推动元应用走向更加轻量化、低能耗、高性能的新时代。
33000编辑于 2025-02-28- 来自专栏AI
大语言模型轻量化：知识蒸馏的范式迁移与工程实践
大语言模型轻量化：知识蒸馏的范式迁移与工程实践 嗨，我是LucianaiB！ 总有人间一两风，填我十万八千梦。 路漫漫其修远兮，吾将上下而求索。 一、模型压缩的技术演进与知识蒸馏范式1.1 大语言模型的部署困境以GPT-3（175B参数）、PaLM（540B参数）为代表的超大规模语言模型，虽然在NLP任务中展现出惊人的泛化能力，但其部署面临三重挑战 TinyBertForSequenceClassification( config=TinyBertConfig( num_labels=2, num_hidden_layers=4, 我们将训练一个 教师模型 和 学生模型，并使用 KL 散度 损失来优化学生模型。 通过 distillation_loss 函数，计算学生模型的蒸馏损失。训练过程中，学生模型通过学习教师模型的知识，逐步逼近其性能。五、结语知识蒸馏技术正推动大语言模型从实验室走向产业落地。
48600编辑于 2025-02-05 - 来自专栏语言、知识与人工智能
最简单的模型轻量化方法：20行代码为BERT剪枝
| 导语 BERT模型在多种下游任务表现优异，但庞大的模型结果也带来了训练及推理速度过慢的问题，难以满足对实时响应速度要求高的场景，模型轻量化就显得非常重要。 模型轻量化 模型轻量化是业界一直在探索的一个课题，尤其是当你使用了BERT系列的预训练语言模型，inference速度始终是个绕不开的问题，而且训练平台可能还会对训练机器、速度有限制，训练时长也是一个难题 剪枝：不改变模型结构，减小模型的维度，以减小模型量级。 量化：将高精度的浮点数转化为低精度的浮点数，例如4-bit、8-bit等。 OP重建：合并底层操作，加速矩阵运算。 、维度基本等同的前提下，1层AL-BERT 1.5小时即可收敛，而1层BERT模型需要4个小时！ 或许可以继续优化~ 小结：对BERT系列模型来说，剪枝是一个非常不错的轻量化方法，很多下游任务可以不需要这么庞大的模型，也能达到很好的效果。
7.9K10发布于 2019-11-22 如何训练一个小而精的AI模型？轻量化策略解析
如何训练一个小而精的AI模型？轻量化策略解析在当今人工智能领域，深度学习模型的性能与体积往往呈正相关。然而，在资源受限的环境下，如移动设备或嵌入式系统，大型模型的应用受到严重限制。 因此，轻量化模型设计成为了一个热门的研究方向。本文将深入探讨如何训练一个小而精的AI模型，并通过实例解析轻量化策略的实现方法。 因此，轻量化模型设计的目标是在保持模型精度的基础上，进一步减少模型参数量和计算量。二、轻量化策略解析1. 四、总结与展望轻量化模型设计是AI领域的重要方向，通过模型剪枝、量化和知识蒸馏等技术，可以在资源受限的环境中实现高效运行。 未来，随着硬件技术的进步和自动化压缩工具的发展，轻量化模型的应用前景将更加广阔。希望本文能为读者提供关于轻量化模型设计的实用技巧和代码示例，助力大家在实际项目中实现高效的小而精AI模型。
90810编辑于 2025-04-09- 来自专栏集智书童
详细解读 | CVPR 2021轻量化目标检测模型MobileDets（附论文下载）
压缩比s<1的瓶颈层有： 输入通道为 输出通道为 的1×1卷积； 输入通道为 输出通道为 的K×K卷积； 输入通道为 输出通道为 的1×1卷积； 作者概括了这些瓶颈(图4)通过允许初始1×1 4架构搜索方法 本文提出的搜索空间是互补的任何神经结构搜索算法。 在实验中使用了TuNAS，因为它的可伸缩性和相对于随机baseline的可靠改进。 该模型跨平台高保真度 。线性代价模型与之前提出的基于查找表的方法有关，但只要求在搜索空间内对随机选取的模型的延迟进行基准测试，而不要求度量卷积等单个网络操作的cost。 EdgeTPU 图6显示了以Pixel-4 EdgeTPUs为目标时的NAS结果。使用这3种搜索空间中的任何一种进行硬件感知的体系结构搜索，都能显著提高整体质量。 DSP 图7显示了Pixel-4 DSP的搜索结果。与EdgeTPUs类似，很明显，在搜索空间中包含规则卷积可以在相当的推断延迟下显著改善mAP。
2.5K40发布于 2021-07-07 - 来自专栏DevOps时代的专栏
轻量化 Jenkins 最佳实践
前言 今天分享主题主要分成三个部分： 第一部分，Jenkins跟持续交付； 第二部分，Jenkins轻量化思路； 第三部分，Jenkins高可用实践。 二、Jenkins轻量化思路 2.1、使用jenkins的常见问题 接下来就是我今天所要谈的重点，刚才解释了为什么Jenkins所代表的CI/CD如此之重要，但现实里Jenkins还是会出现这样那样的问题 我们不希望Jenkins承载更多的东西，这也是为什么我提出轻量化Jenkins的概念，初衷在于给Jenkins减负。 ? 接下来我们看一看Jenkins的系统架构。 2.6、轻量化解决之道 那么轻量化的概念到底是什么意思呢？ 那么在实践Jenkins轻量化解决之道的过程中，我总结了一些套路和体系，其中以下八点内容希望可以帮助大家解决一些实际生产工作中Jenkins的性能问题，同时扩展大家的思路，共同探索Jenkins应用的最佳实践
4.9K90发布于 2018-02-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号