- 综合排序
- 最热优先
- 最新优先
- 来自专栏奇点大数据
Pytorch神器（8）
其实只要你学习深度学习，“Encoder”和“Decoder”就一定会接触到，并非只是Pytorch所独有。 乍一看这种东西似乎不是很好理解，不过从字面理解来看，就是“编码器”和“解码器”。
64020发布于 2018-07-24 如何部署 PyTorch 模型
使用 PyTorch 训练好了模型，如何部署到生产环境提供服务呢？ TorchServe 是 PyTorch 官方开发的开源工具，源码地址 https://github.com/pytorch/serve 官方给出的描述是： A flexible and easy to use tool for serving PyTorch models 从描述中就可知道 TorchServe 是用来部署 PyTorch 模型的，而它的特点是「可扩展性」和「易用性」。 下面简单描述一下用 TorchServe 部署模型的几个步骤，你也可以参考笔者的 MNIST 完整 demo，地址为： https://github.com/louis-she/torch-serve-mnistgithub.com 就可以对外提供服务了，准备一张手写数字图片 test.png， >>> curl "http://127.0.0.1:8080/predictions/mnist" -T test.png { "8"
30010编辑于 2025-12-16- 来自专栏计算机视觉战队
模型部署：pytorch转onnx部署实践（下）
在深度学习模型部署时，从pytorch转换onnx的过程中，踩了一些坑。本文总结了这些踩坑记录，希望可以帮助其他人。 在上一次分享的时候，我们已经撰写了pth转onnx的过程及一些部署过程，今天我们继续分享整个部署过程遇到的坑及解决办法！ （点击上方图片就可以进入《模型部署：pytorch转onnx踩坑实录（上）》） onnxruntime支持3维池化和3维卷积 在上次讲到opencv不支持3维池化，那么onnxruntime是否支持呢？ 如果深度学习模型有3维池化或3维卷积层，那么在转换到onnx文件后，使用onnxruntime部署深度学习是一个不错的选择。 ，结果发现调用 pytorch框架的输出和调用opencv和onnxruntime的输出都不同，而opencv和onnxruntime的输出相同(平均差异在小数点后10位)，这又是一个pytorch转onnx
2.5K20编辑于 2022-01-28 - 来自专栏小胡学编程
PyTorch8：损失函数
损失函数总览 ---- PyTorch 的 Loss Function（损失函数）都在 torch.nn.functional 里，也提供了封装好的类在 torch.nn 里。 PyTorch 里一共有 18 个损失函数，常用的有 6 个，分别是： 回归损失函数： torch.nn.L1Loss torch.nn.MSELoss 分类损失函数： torch.nn.BCELoss -x_class + log_sigma_exp_x 结果为 >>> print("第一个样本 loss 为: ", loss_1) 第一个样本 loss 为: 0.6931473 现在我们再使用 PyTorch
2.3K40发布于 2020-08-14 如何部署自己的模型：Pytorch模型部署实践
Pytorch是一个广泛使用的深度学习框架，但是在将模型部署到生产环境中时，需要注意一些细节和技巧。本文将讨论一些Pytorch模型部署的最佳实践。 选择合适的部署方式 在部署Pytorch模型之前，需要选择合适的部署方式。一种常见的方式是使用Flask或Django等Web框架将模型封装成API，以供其他应用程序调用。 另一种方式是使用TorchScript将Pytorch模型转换为可部署的格式。 结语 本文介绍了Pytorch模型部署的最佳实践。 首先，需要选择合适的部署方式，包括使用Flask或Django等Web框架将模型封装成API，或使用TorchScript将Pytorch模型转换为可部署的格式。
42610编辑于 2025-12-16- 来自专栏DeepHub IMBA
使用Flask快速部署PyTorch模型
今天我将通过一个简单的案例：部署一个PyTorch图像分类模型，介绍这个最重要的步骤。 我们这里使用PyTorch和Flask。 现在我们可以运行python app.py，如果没有问题，你可以访问http://localhost:5000/，应该会看到一条简单的消息——“Welcome to the PyTorch Flask <html> <head> <title>PyTorch Image Classification</title> </head> <body>
PyTorch 以上都是基本的web应用的内容，下面就是要将这个web应用和我们的pytorch模型的推理结合。 加载模型 在home route上面，加载我们的模型。 就是这样只要5分钟，我们就可以成功地部署一个ML模型。 作者：Daniel Korsz
1.9K40编辑于 2023-02-01 - 来自专栏文鹃阁
PyTorch JIT 模型部署常见错误
preface 在用 PyTorch官方提供的的工具转化 pth 文件 到 pt 文件时，经常会遇到很多错误，包括但不限于算子不支持，无法推断参数类型，以及一些很奇怪的错误，这里全部记录一下，建议配合我之前写的 frame #1: caffe2::serialize::PyTorchStreamWriter::valid(char const*, char const*) + 0xa2 (0x7f836d9c8b02 <unknown function> + 0x2672a8 (0x7f8372b0e2a8 in /raid/kevin/anaconda3/envs/open-mmlab/lib/python3.7 check_tolerance, strict, _force_outplace, True, _module_class) reference model trace error · Issue #43196 · pytorch /pytorch (github.com)
2.8K10编辑于 2022-09-02 - 来自专栏DeepHub IMBA
使用FP8加速PyTorch训练
在这篇文章中，我们将介绍如何修改PyTorch训练脚本，利用Nvidia H100 GPU的FP8数据类型的内置支持。 这里主要介绍由Transformer Engine库公开的fp8特定的PyTorch API，并展示如何将它们集成到一个简单的训练脚本中。 FP8与Transformer Engine的集成 PyTorch(版本2.1)不包括FP8数据类型。 TE(版本0.12)预装在AWS PyTorch 2.1 DL容器中。 使用FP8的机制比16位(float16和bfloat16)要复杂得多。TE库实现向用户隐藏了所有杂乱的细节。 总结 在这篇文章中，我们演示了如何编写PyTorch训练脚本来使用8位浮点类型。展示了FP8的使用是如何从Nvidia H100中获得最佳性能的关键因素。
98040编辑于 2023-11-20 - 来自专栏一棹烟波
pytorch模型部署在MacOS或者IOS
pytorch训练出.pth模型如何在MacOS上或者IOS部署，这是个问题。 然而我们有了onnx，同样我们也有了coreML。 coreML框架可以方便的进行深度学习模型的部署，利用模型进行预测，让深度学习可以在apple的移动设备上发光发热。 pytorch -- ONNX -- coreML 没错，就是这个流程。 pytorch -- ONNX 请先查看pytorch官网的onnx模块：https://pytorch.org/docs/stable/onnx.html 。 "linear") lin_quant_model.save('Model_8bit.mlmodel') 时间仓促，写的粗糙，随后更新。
2.6K50发布于 2019-05-25 - 来自专栏信数据得永生
PyTorch 深度学习实用指南：6~8
因此，转换可以反向传播，原始音频数据可以使用一些技术来处理，例如膨胀卷积，8 位量化等。 为生产准备的服务器 这是关于如何使用 Flask 将 PyTorch 模型部署到服务器的非常基本的演练。 但是 Flask 的内置服务器尚未投入生产，只能用于开发目的。 可以针对不同目的优化不同的框架，例如移动部署，可读性和灵活性，生产部署等。 有时将模型转换为不同的框架是不可避免的，手动转换很耗时。 这是 ONNX 试图通过互操作性解决的另一个用例。 实际上，这对于生产部署来说是最不重要的。 RedisAI 附带的最重要的功能是故障转移和分布式部署选项已经嵌入到 Redis 服务器中。 我们可以在不久的将来看到 RedisAI 带来的许多惊人功能，这使其成为大部分 AI 社区事实上的部署机制。
1.4K20编辑于 2023-04-27 - 来自专栏公众号:咻咻ing
8. 部署方案
JanusGraph提供了多种存储和索引后端选项，可以灵活地部署它们。本章介绍了一些可能的部署方案，以帮助解决这种灵活性带来的复杂性。 注意：本章中介绍的场景仅是JanusGraph如何部署的示例。 每个部署都需要考虑具体的用例和生产需求。 1. 基础部署 这种方案是大多数用户在刚开始使用JanusGraph时可能想要选择的方案。 后者描述了将部署向高级部署转换的方式。 任何可扩展存储后端都可以通过这种方案来使用。 但是，对于Scylla，当托管与此方案中的其他服务共存时，需要进行一些配置。 高级部署 高级部署是在第8.1节“基础部署”上的演变。 它们不是将JanusGraph Server实例与存储后端以及可选的索引后端一起部署，而是在不同的服务器上部署。 这种部署方案提供了不同组件的独立可伸缩性，因此使用可扩展的后端存储/索引当然也是最有意义的。 3. 简单部署 也可以在一台服务器上将JanusGraph Server与后端一起部署。
89020发布于 2019-08-07 - 来自专栏一个执拗的后端搬砖工
springboot(8)-热部署
spring为开发者提供了一个名为spring-boot-devtools的模块来使Spring Boot应用支持热部署，提高开发者的开发效率，无需手动重启Spring Boot应用。 接下来我们就通过编码的方式实现springboot热部署。 groupId> <artifactId>spring-boot-devtools</artifactId> </dependency> 二）修改ide配置&浏览器缓存禁用 为了实现热部署 请求能够被正常的接收和处理，也就是说明我们配置的springboot热部署已经生效。 总结 springboot热部署在开发阶段特别实用，我们对应用修改之后不需要手动点构建和部署就能自动重启后看到效果，当然可能springboot实现热部署还有其他方式，这里暂不做过多探讨，有兴趣的可以自己研究一下
55910发布于 2020-11-19 - 来自专栏我的机器学习之路
PyTorch深度学习模型的服务化部署
本文将介绍如何使用Flask搭建一个基于PyTorch的图片分类服务以及并行处理的相关技术。 PyTorch==1.3 2. Flask==0.12 3. 将PyTorch分类模型接入服务 from flask import Flask, request from werkzeug.utils import secure_filename import uuid 并发测试 使用apache2-utils进行上传图片的post请求方法参考： https://gist.github.com/chiller/dec373004894e9c9bb38ac647c7ccfa8 模型的多机多卡部署了。
2.1K30发布于 2020-10-23 - 来自专栏机器学习之禅
28 | PyTorch构建的模型如何上线部署
到这里，我们就完成了一个简单的模型部署流程，当然，这里只是一个单一的服务，如果我们在工作中需要用到并发服务，异步服务可以在这个基础上进行修改，或者搭配其他的工具。
2.4K20编辑于 2022-12-30 - 来自专栏腾讯云中间件专家服务
在scf上部署pytorch的炼丹模型
在scf上部署pytorch的炼丹模型 在scf的使用过程中，我们收到了不少关于如何部署pytorch到scf，为啥numpy版本不对等等问题，这里让我们来一步一步训练模型并将模型部署到scf函数。 但很遗憾的是，pytorch是设计为一个方便的训练和生成模型的框架，但是可能并不适合用在服务端。我们可以看到整个env的大小有接近1.8g。如果这对于部署在scf环境上太大了。 首先的一步就是先执行模型转换，将pytorch模型转换为onnx模型,这里可以参考pytorch官方文章 pip install onnx onnxruntime python trans.py 执行我们示例库中的 /mYIXZbz1J484WmKKwXim/XRs8QOaEgOUGKDEACUGKDFAiQFKDFBigBIDlBigxAAlBigxQIkBSgxQYoASA5QYoMQAJQYoMUCJAUoMUGKAEgOUGKDEACUGKDFAiQFKDEy32xsVVPcjeMF [输出结果] 结尾 本次文章我们从无到有的创建了经典的mnist模型，并成功在scf上部署和测试。如果大家有类似的模型需要部署在scf上也可以使用本办法。
1.5K151发布于 2021-01-28 - 来自专栏用户9379088的专栏
使用onnx对pytorch模型进行部署
1.onnx runtime安装# 激活虚拟环境conda activate env_name # env_name换成环境名称# 安装onnxpip install onnx # 安装onnx runtimepip install onnxruntime # 使用CPU进行推理# pip install onnxruntime-gpu # 使用GPU进行推理复制代码2.导出模型import torch.onnx # 转换的onnx格式的名称，文件后缀需为.onnxonnx_file_name = "xx
1.2K20编辑于 2022-09-27 - 来自专栏OpenMMLab
学懂 ONNX，PyTorch 模型部署再也不怕！
知道你们在催更，这不，模型部署入门系列教程来啦~在前二期的教程中，我们带领大家成功部署了第一个模型，解决了一些在模型部署中可能会碰到的困难。今天开始，我们将由浅入深地介绍 ONNX 相关的知识。 ONNX 是目前模型部署中最重要的中间表示之一。学懂了 ONNX 的技术细节，就能规避大量的模型部署问题。 预告一下： 在后面的文章中，我们将继续介绍如何在 PyTorch 中支持更多的 ONNX 算子，让大家能彻底走通 PyTorch 到 ONNX 这条部署路线；介绍 ONNX 本身的知识，以及修改、调试 由于推理引擎对静态图的支持更好，通常我们在模型部署时不需要显式地把 PyTorch 模型转成 TorchScript 模型，直接把 PyTorch 模型用 torch.onnx.export 跟踪导出即可 我们部署时一般都默认这个参数为 True。如果 onnx 文件是用来在不同框架间传递模型（比如 PyTorch 到 Tensorflow）而不是用于部署，则可以令这个参数为 False。
15.6K32编辑于 2022-05-25 - 来自专栏全栈程序员必看
pytorch（8）– resnet101 迁移学习记录
一、前言 本篇记录使用 pytorch 官方 resnet101 实现迁移学习，迁移学习是当前深度学习领域的一系列通用的解决方案，而不是一个具体的算法模型。 Pre-training + fine-tuning（预训练+调参） 的迁移学习方式是现在深度学习中一个非常流行的迁移学习方式，有以下3步 （1）把预训练模型当做特征提取器： TensorFlow或者Pytorch Bottleneck, [3, 4, 23, 3], **kwargs) if pretrained: checkpoint = torch.load('resnet101-5d3b4d8f.pth
1.2K30编辑于 2022-11-08 - 来自专栏轩辕镜像
PyTorch Docker 容器化部署与生产运行实践
容器化部署PyTorch可有效解决环境一致性问题，简化部署流程，提高开发与生产环境的兼容性。 本文将详细介绍PyTorch的Docker容器化部署方案，按测试环境与生产环境分级说明，涵盖环境准备、镜像拉取、容器部署、功能测试、生产优化及故障排查等内容，兼顾易用性与生产级安全要求。 ）展开代码语言：BashAI代码解释#示例：拉取PyTorch2.2.2+CUDA12.1+cuDNN8的运行时镜像dockerpullxxx.xuanyuan.run/pytorch/pytorch: /pytorch:2.2.2-cuda12.1-cudnn8-runtime二、生产环境部署（推荐方案）适用场景：工业级训练、在线推理服务；特点：非root运行、端口安全映射、资源限制、健康检查，推荐使用 :/workspace/logs\#日志目录xxx.xuanyuan.run/pytorch/pytorch:2.2.2-cuda12.1-cudnn8-runtime2.DockerCompose生产部署
33910编辑于 2026-01-14 - 来自专栏散尽浮华
K8S部署Kafka集群 - 部署笔记
对于这类服务的部署，需要解决两个大的问题：一个是状态保存，另一个是集群管理 (多服务实例管理)。kubernetes中提的StatefulSet方便了有状态集群服务在上的部署和管理。 通常来说，通过下面三个手段来实现有状态集群服务的部署： 通过Init Container来做集群的初始化工 作。 通过Headless Service来维持集群成员的稳定关系。 因此，在K8S集群里面部署类似kafka、zookeeper这种有状态的服务，不能使用Deployment，必须使用StatefulSet来部署，有状态简单来说就是需要持久化数据，比如日志、数据库数据、 ，有序扩展，即Pod是有顺序的，在部署或者扩展的时候要依据定义的顺序依次依次进行（即从0到N-1，在下一个Pod运行之前所有之前的Pod必须都是Running和Ready状态），基于init containers 的Cluster Domain集群根域 二、部署过程记录（NAS存储） 这里使用K8S搭建一个三节点的kafka容器集群，因为kafka集群需要用到存储，所以需要准备持久卷(Persistent Volume
6.7K31发布于 2021-03-03
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号