- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习
【sklearn | 4】 深度教程：模型部署与优化
在前几篇教程中，我们介绍了 sklearn的基础、高级功能，异常检测与降维，以及时间序列分析与自然语言处理。这篇教程将进一步探讨模型部署与优化的技术和方法。 模型优化模型优化是提升模型性能和效率的过程。sklearn 提供了多种工具来帮助优化模型，包括超参数调优和特征选择。超参数调优超参数调优是通过调整模型的超参数来提升模型性能的过程。 打印特征重要性for i in range(X_train.shape[1]): print(f"Feature {i + 1}: {importances[indices[i]]}")综合示例项目：模型部署与优化步骤 -d '{"features": [5.1, 3.5, 1.4, 0.2]}' http://127.0.0.1:5000/predict总结通过本篇深度教程，我们学习了如何在 sklearn 中进行模型部署与优化 模型部署可以使用 Flask 构建 API，或在云平台上部署。模型优化包括超参数调优和特征选择。希望这些技术和方法能帮助你在实际项目中提高模型的可用性和性能。
78121编辑于 2024-07-24 - 来自专栏腾讯云TI平台
【技术分享】Detectron模型性能优化与部署（1）
同时也在图优化层，和更多TRT算子支持方面做了大幅度增强；使其在复杂模型优化能力有更多的提升，例如本文中的Cascade RCNN + FPN模型的推理。 在 Detectron 中训练完毕的模型可以直接通过Caffe 2 运行时部署在云服务器和移动设备上【1】。目前Detetron在GitHub有22K+ Start， 5K+ fork。 的文章，通过级联几个检测网络达到不断优化预测结果的目的，与普通级联不同的是，cascade R-CNN的几个检测网络是基于不同IOU阈值确定的正负样本上训练得到的，这是该算法的一大亮点。 腾讯云AI基础产品中心对Caffe2/TRT模块做了大幅优化与增强，修改了子图匹配算法以及替换算法，完善了算子实现，增强了TensorRT算子实现，支持动态大小输入等。 优化后的Caffe2/TRT模块可以支持Detectron框架各种算法。相关优化，会在深度学习框架加速Oteam开源。 10.png 经过框架和模型的优化，最终优化后的模型结构如图9所示。
2.2K40发布于 2020-03-04 - 来自专栏腾讯云TI平台
【技术分享】Detectron模型性能优化与部署（2）
在Detectron模型性能优化与部署(1)中，我们介绍了如何使用Caffe2/TRT加速Cascade R-CNN + FPN模型。 FP16对精度影响如何 Cascade R-CNN+FPN模型的测试表明，当对所有7个TensorRT算子使用FP16计算，物体识别的类别和打分与使用FP32完全一致，个别识别框位置有一个像素差别。 TI-EMS是具备虚拟化异构算力和弹性扩缩容能力的在线推理平台，能够帮助客户解决模型部署复杂、资源浪费、手工扩展资源效率低下的问题。客户通过使用弹性模型服务可以实现模型一键部署，自动调整弹性计算资源。 腾讯云AI基础中心不仅提供可弹性伸缩的模型部署服务，我们也提供专业的模型优化，训练和推理性能优化服务。 优化后的Caffe2/TRT模块支持动态大小输入，支持FP16推理，支持复杂模型的推理等。
2.1K20编辑于 2021-12-22 - 来自专栏AI SPPECH
64_模型部署：推理优化策略
引言：大模型部署的挑战与意义 ├── 2. 部署架构设计：从云端到边缘 ├── 3. 硬件要求与选型：不同规模模型的部署配置 ├── 4. 模型压缩技术：减小模型体积与计算需求 ├── 5. 多模态模型部署：特殊考量与优化 └── 10. 行业最佳实践：成功案例分析 1. 本文将系统梳理2025年大模型部署与推理优化的完整技术体系，为不同规模的团队提供可落地的解决方案。 2. 多模态模型部署：特殊考量与优化 多模态大模型（如图文理解、视频生成等）的部署比纯文本模型更加复杂，需要考虑多模态数据的处理、存储和计算。 未来，随着硬件技术的进步、优化算法的创新和部署工具的成熟，大模型部署将变得更加简单、高效和普及。对于希望在实际业务中应用大模型技术的组织来说，掌握部署与优化技术将成为核心竞争力之一。
87710编辑于 2025-11-16 - 来自专栏技术汇总专栏
Agent 模型部署优化：TensorRT 与 ONNX Runtime 的推理加速实践
Agent模型部署优化：TensorRT与ONNXRuntime的推理加速实践一、引言随着Agent智能体在自动驾驶、语音交互、机器人等领域的落地，一项关键挑战是如何让模型在实际部署中具备高效、低延迟的推理性能 仅有训练精度高的模型还不够，推理框架的选择与优化策略，对性能影响巨大。本篇文章从工程实践出发，对TensorRT与ONNXRuntime(ORT)的推理加速能力进行对比，并给出完整部署示例。 二、模型推理优化的关键指标模型在Agent中的部署一般需要考虑：指标含义延迟(Latency)单次推理耗时，决定实时响应能力吞吐量(Throughput)并发处理能力显存占用决定可部署设备规模易用性对工程快速交付很重要在推理场景中 ONNX标准深度整合推荐策略：GPU部署优先选择TensorRT跨平台&通用部署优先选择ONNXRuntime四、模型转换：PyTorch→ONNX→TensorRT我们以一个智能体NLP小模型为例（例如分类器 shape，减少后续修改成本Batch大小合理增大可提升吞吐，但会影响实时性量化INT8推理适合分类与CV模型Agent场景低延迟优先FP16，交互响应最重要在部署Agent时：越靠近用户，越需要更快。
66220编辑于 2025-11-25 - 来自专栏我爱计算机视觉
使用 TFLite 在移动设备上优化与部署风格转化模型
TensorFlow 模型以进行移动部署，以及如何通过 TensorFlow Lite 在移动应用中高效使用该模型。 我们发现：在固定 MobileNetV2 宽度的同时，从头开始优化其他参数得到的结果最好。 这样能达到与原模型相近的效果，而模型的大小显著缩小，速度也大幅提升。 ? 量化是适用于大多数 TensorFlow 模型移动部署的一项重要技术，在本例中，它可将模型大小缩小为原来的 1/4，在大幅加速模型推理的同时，对质量的影响很小。 移动部署 我们通过一款 Android 应用来展示如何使用风格转化模型。此应用通过采集一张风格图像与一张内容图像，输出将输入图像的风格和内容相融合的图像。 所用模型与上述模型相似，但相较于速度和模型大小，该模型更注重质量。对生产环境中的风格转化模型有兴趣的话，您可以试用一下该应用。 ?
2.6K20发布于 2020-05-27 - 来自专栏大模型应用
大模型应用：本地大模型部署中的Token效率优化与性能分析.9
今天我们基于本地部署的Qwen1.5-1.8B-Chat模型，通过构建完整的Token监控与分析系统，深入探讨了模型交互过程中的Token消耗模式、优化策略及实践应用。 今天我们通过系统化的Token追踪、智能上下文管理和多维度统计分析，为中小规模语言模型的优化部署提供了可复用的解决方案。二、Token交互基础1. 初始化阶段模型加载与初始化：从ModelScope下载模型，加载分词器和模型权重设置设备环境（CPU/GPU），配置生成参数2. 对话处理循环用户输入处理：接收用户问题并格式化对话历史管理：维护上下文，包含压缩和摘要机制Token计算与监控：实时追踪输入输出Token消耗模型推理生成：执行模型前向传播生成回复响应解码与统计：解码生成结果并更新统计数据 Token分析体系，从实时监控到历史统计，提供了多层次的Token使用洞察开发了智能上下文管理策略，有效解决了长对话中的上下文窗口限制问题验证了多种Token优化技术，为资源受限环境下的模型部署提供了实用方案实现了设备自适应的模型加载
52043编辑于 2026-02-06 - 来自专栏AI SPPECH
YOLO性能优化与部署实践：从模型压缩到多平台落地
背景动机与当前热点 1.1 性能优化在YOLO应用中的核心地位 随着YOLO算法的不断发展，模型的检测精度和复杂度也在不断提高，这给实际部署带来了挑战。 性能优化的核心目标是： 降低模型的计算复杂度（FLOPs） 减少模型的参数量和内存占用 提高模型的推理速度 在精度和速度之间取得最佳平衡 实现模型在不同硬件平台上的高效部署 1.2 性能优化与部署的研究热点 1.3 YOLO性能优化与部署的演进历程 YOLO系列算法在性能优化与部署方面经历了从简单到复杂、从手动到自动的演进过程： YOLOv1-YOLOv3：模型结构相对简单，部署较为容易，但性能优化技术相对基础 自动化优化与部署流程能够简化YOLO模型的优化和部署过程，提高开发效率。 5.2 潜在风险与局限性 精度损失：性能优化可能导致模型精度损失，尤其是在使用激进的优化策略时。 硬件依赖性：某些优化技术和部署工具依赖特定的硬件平台，限制了模型的可移植性。
77211编辑于 2026-01-03 - 来自专栏热度文章
全面解析：DeepSeek 多模态搜索模型的本地部署与优化指南
DeepSeek 作为一个开源的搜索模型，拥有强大的检索能力，可以被广泛应用于多个场景中。本文将详细讲解如何将 DeepSeek 模型本地部署，并进行优化和配置，使其能够高效运行。 一、引言DeepSeek 是一个开源的多模态搜索模型，能够处理文本、图像、音频等多种数据类型，并返回与输入相关联的最相关结果。 部署与优化：将模型部署到本地环境中，并通过性能监控和优化，确保其高效稳定运行。二、先决条件在开始部署之前，我们需要确保开发环境具备以下条件：1. 四、模型加载与调优1. results = parallel_searcher.process_queries(queries) for res in results: print(res)六、性能监控与优化
99721编辑于 2025-03-04 - 来自专栏高性能计算
模型部署优化的学习路线是什么？
模型部署优化这个方向其实比较宽泛。从模型完成训练，到最终将模型部署到实际硬件上，整个流程中会涉及到很多不同层面的工作，每一个环节对技术点的要求也不尽相同。 部署的流程大致可以分为以下几个环节： [模型部署流程] 一、模型转换 从训练框架得到模型后，根据需求转换到相应的模型格式。 二、模型优化 此处的模型优化是指与后端无关的通用优化，比如常量折叠、算数优化、依赖优化、函数优化、算子融合以及模型信息简化等等。 OpenPPL也在逐步开源自己的模型压缩工具链，并对上述提到的模型算法、压缩算法和硬件平台适配等方面的知识进行介绍。 四、模型部署 模型部署是整个过程中最复杂的环节。 模型打包的格式和模型加密的方法与具体的 SDK 相关。在该环节中主要涉及到的技能与 SDK 开发更为紧密。 从功能上讲，对部署最后的性能影响最大的肯定是SDK中包含的后端库，即实际运行模型的推理库。
1.1K50发布于 2021-08-10 - 来自专栏大模型应用
大模型应用：大模型本地部署的磁盘空间优化：模型分片存储与按需加载.48
为了破解这一难题，模型分片存储与按需加载成为大模型本地部署磁盘空间优化的核心方案。 通过兼容性的分片脚本，实现模型的按量切片，切片后通过完整性校验、加载测试、推理验证确保分片后的模型既能节省磁盘与显存资源，又能保持与完整模型一致的运行效果。二、核心概念1. 总体来说：分片存储是物理上切分文件，解决磁盘空间不足的问题；按需加载是逻辑上动态调用，解决内存或显存不足的问题，两者结合是大模型本地部署的空间优化黄金组合。 基础对话测试验证分片模型的生成效果是否与完整模型一致，同时测试响应速度和资源占用。 在训练过程中，我会不断优化自身的语言模型，提升其表达能力、泛化能力和适应性，以满足用户的不同需求。
35244编辑于 2026-03-17 AI模型的部署与监控
AI模型的部署与监控：如何在生产环境中部署AI模型随着人工智能技术的不断发展，AI模型在各个行业中的应用越来越广泛。 AI模型部署的基本步骤AI模型的部署并非一次性的任务，它是一个持续优化和维护的过程。 通过将模型部署为独立的微服务，开发者能够在不影响其他服务的情况下进行模型更新和优化，提升系统的可维护性和扩展性。 步骤四：自动化部署与CI/CD为了确保AI模型能够持续更新和优化，许多团队会使用自动化工具来支持CI/CD（持续集成/持续部署）流程。 在不断发展的AI应用场景中，深入了解这些部署与监控技术，将为开发者和企业提供持续优化模型的能力，最终帮助AI技术更好地服务于实际业务需求。
82810编辑于 2025-02-03DreamBooth模型训练与部署指南
在Replicate上训练和部署DreamBooth模型发布于2022年11月21日2024年8月更新：实验性DreamBooth API已不再可用。 这是一种训练特定对象或风格的Stable Diffusion的方法，可以创建生成这些对象或风格的个性化模型版本。只需三张图像即可训练模型，训练过程不到半小时。 在后台，这运行replicate/dreambooth模型。该模型的任何输入都可以在input对象中传递。 运行训练好的模型当训练过程成功完成后，它将模型推送到Replicate。可以像使用Replicate上的任何其他模型一样运行该模型，使用网站或API。 新模型默认是私有的，仅对您可见。如果希望任何人都能查看和运行模型，可以在模型页面的"Settings"选项卡中将其公开。要作为API运行模型，首先需要获取版本ID。
38410编辑于 2025-10-29- 来自专栏AI技术应用
AI大模型本地化部署的优化
AI大模型本地化部署的优化，旨在提升模型在资源受限的本地环境中的运行效率和性能。以下是一些关键的优化策略。1. 模型压缩与优化：模型量化： 通过降低模型权重和激活值的精度，减少模型大小和计算量。 这些专用硬件能够进一步提升模型的推理速度和能效。针对硬件的优化： 针对特定的硬件架构进行软件优化，以充分利用硬件性能。3. 推理引擎优化：选择高效的推理引擎： 使用针对本地部署优化的推理引擎，如TensorFlow Lite、ONNX Runtime、TensorRT、OpenVINO等。 代码优化：算法优化： 优化模型推理算法，减少计算量和内存占用。代码优化： 使用高效的编程语言和库，优化代码结构和逻辑。 使用例如，多线程，异步处理等。内存管理： 合理管理内存，避免内存泄漏和过度占用。 模型管理与更新：模型版本控制： 有效管理模型的不同版本，方便回滚和更新。增量更新： 实现模型的增量更新，只更新模型中发生变化的部分，减少更新时间和带宽消耗。
1K10编辑于 2025-03-11 - 来自专栏自然语言处理
模型融合与超参数优化
模型之间差异越大，融合所得的结果将会更好。这种特性不会受融合方式的影响。注意这里所指模型之间的差异，并不是指正确率的差异，而是指模型之间相关性的差异。 对于正确率低的模型给予更低的权重，而正确率更高的模型给予更高的权重。 超参数优化 推荐两个工具：Optuna和BayesianOptimization 推荐1：Optuna import numpy as np import optuna import lightgbm application_train) X = application_train.drop('TARGET', axis=1) y = application_train.TARGET # 第一步：设置需要优化的参数 0.1), 'min_child_weight': (5, 50)}, random_state=0) # 第三步：设置优化目标
1.1K10发布于 2021-11-24 - 来自专栏日常活动篇
深度学习 —— 模型训练与优化
在训练过程中，TensorFlow会计算损失函数的值，并基于该值来调整模型的参数。2 优化器（Optimizer）：优化器是TensorFlow中用于调整模型参数的算法。 构建模型：使用TensorFlow的API构建神经网络模型，包括定义输入层、隐藏层和输出层等。定义损失函数和优化器：根据具体任务选择合适的损失函数和优化器，并设置相关参数。 评估与验证：在训练过程中，定期使用验证数据集评估模型的性能，以防止过拟合。来个例子看一下吧：以下是一个使用TensorFlow构建简单神经网络并进行训练的示例。 通过多次迭代更新模型参数，我们期望这个模型能够在验证数据集上取得较好结果和性能。当然TensorFlow还提供了丰富的API和工具来支持模型训练与优化。 大家可以通过合理的数据预处理、模型构建、损失函数和优化器的选择以及训练过程的监控与调整，训练出高性能的机器学习模型。下一篇，我会就模型的保存与加载进行一下知识分享，请大家多多关注。
59900编辑于 2025-03-16 - 来自专栏数据科学（冷冻工厂）
PyTorch模型性能分析与优化
训练深度学习模型，尤其是大型模型，可能是一项昂贵的支出。我们可以使用的管理这些成本的主要方法之一是性能优化。性能优化是一个迭代过程，我们不断寻找提高应用程序性能的机会，然后利用这些机会。 注意：降低模型部分的精度可能对其收敛产生有意义的影响。与增加批量大小（见上文）的情况一样，使用混合精度的影响会因模型而异。在某些情况下，AMP 会毫不费力地工作。 还有一些时候，您可能需要显式设置模型不同部分的精度类型（即手动混合精度）。 优化7：在图形模式下训练 我们将应用的最终优化是模型编译。 与默认的 PyTorch 急切执行模式相反，其中每个 PyTorch 操作都“急切”运行，编译 API 将模型转换为中间计算图，然后以最适合底层的方式编译为低级计算内核。 = torch.compile(model) 模型编译优化结果如下所示： 与之前实验中的 2477 个样本相比，模型编译进一步将我们的吞吐量提高到每秒 3268 个样本，性能额外提升了 32% (!
67410编辑于 2023-09-06 - 来自专栏数据结构和算法
CatBoost模型部署与在线预测教程
在这篇教程中，我们将学习如何部署一个CatBoost模型，并创建一个简单的Web服务来进行在线预测。 安装CatBoost 首先，确保你已经安装了CatBoost。 你可以使用pip进行安装： pip install catboost 训练模型 在部署模型之前，你需要有一个训练好的CatBoost模型。 =0.2) # 初始化CatBoost分类器 model = CatBoostClassifier(iterations=100, learning_rate=0.1, depth=5) # 训练模型 model.fit(X_train, y_train, eval_set=(X_test, y_test), verbose=False) 保存模型 训练完成后，你可以将模型保存到文件中，以便之后进行加载和预测 import Flask, request, jsonify from catboost import CatBoostClassifier app = Flask(__name__) # 加载模型
70510编辑于 2024-03-12 - 来自专栏素质云笔记
大模型时代的模型运维与部署：LLMops
这意味着 LLMOps 是一组工具和最佳实践，用于管理 LLM 支持的应用程序的生命周期，包括开发、部署和维护。 LLM（大型语言模型）是可以生成人类语言输出的深度学习模型（因此称为语言模型）。 1.2 LLMOps 与 MLOps 首先MLOps 包含LLMOps， 但是，MLOps 和 LLMOps 之间的差异是由我们使用经典 ML 模型与 LLM 构建 AI 产品的方式不同造成的。 这涉及删除或脱敏个人身份信息，以确保数据无法与特定个体关联。 模型隐私和安全性 确保模型的安全性对于防止未经授权的访问和潜在的攻击非常重要。 如果有更复杂的需求，例如希望把 prompt 的应用逻辑解耦，或者引入业务人员来优化 prompt，以及通过单独的产品工具来快速评估管理不同的 prompt 甚至模型接口，那么就需要引入更加复杂的产品。 2.5 部署 部署LLM（语言模型）API可能很简单，但是如果API调用背后有很多逻辑，则会变得更加复杂。 提高LLM输出质量的技术包括自我评价、采样多个输出和集成技术。
7.5K21编辑于 2023-07-09 聚焦大模型落地：2025 年推理优化、MCP 探索与部署权衡的实战心得
这一年里，我聚焦于大模型应用落地与推理优化，从工程实践中总结经验。 一、大模型推理优化：挑战与解决策略 大型语言模型的推理性能直接决定了AI系统给用户响应的速度和体验。即使是毫秒级的延迟增加，累计到数百万用户规模也会显著拉低满意度，影响业务收益。 我根据项目需求在不同方案间切换：本地部署快速原型时使用简单易用的框架，如 Ollama（资源占用低，部署方便）；追求极致性能时，则使用高性能推理服务或优化库，如 vLLM（具备批量调度等优化，能充分利用高端硬件并发 此外还有一些框架：如ONNX Runtime适合部署在CPU服务器上，可开启多线程和内存优化，充分挖掘CPU性能；TorchServe则方便将PyTorch模型快速包装成服务API，便于在生产环境中部署推理服务 混合部署也是一种思路：边缘 + 云协同，各取所长。今年有不少相关探索，例如一些浏览器插件内置本地小模型快速响应，同时后台有云端强模型优化答案。
67460编辑于 2026-01-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号