- 综合排序
- 最热优先
- 最新优先
- 来自专栏HyperAI超神经
PyTorch 1.5 发布，与 AWS 合作 TorchServe
除此之外，Facebook 还和 Amazon 合作，推出了两个重磅的工具：TorchServe 模型服务框架和 TorchElastic Kubernetes 控制器。 TorchServe 旨在为大规模部署 PyTorch 模型推理，提供一个干净、兼容性好的工业级路径。 TorchServe：用于推理任务 部署机器学习模型进行规模化推理并非易事。 而生产模型服务框架 TorchServe 的发布，将改变这一现状，它能够更容易地将模型投入到生产中。 在下面的例子中，将说明如何从 Torchvision 中提取训练过的模型，并使用 TorchServe 进行部署。
81840发布于 2020-04-27 如何部署 PyTorch 模型
好在 PyTorch 已经给我们提供了一套统一的标准来实现这些，也就是接下来要介绍的开源工具：TorchServe。 什么是 TorchServe？ 由于 TorchServe 将系统工程和模型分开了，所以模型接入到 TorchServe 需要一套统一的标准，而 TorchServe 将这套「标准」制定得很简单。 除了以上还有很多其他的使用 TorchServe 的理由，TorchServe 为我们提供了丰富的功能，例如日志、多进程，动态注册模型等。 第二步，注册模型 创建一个目录，名称为 model-store，将第一步打包好的 .mar 复制到这个目录中，然后我们就可以启动 TorchServe 服务器程序了： torchserve --start 服务进程启动后，model-store 中的 mar 文件**不会**自动注册到 TorchServe 中，我们需要通过 TorchServe 提供的 Management API 来注册 model-store
20910编辑于 2025-12-16- 来自专栏用户6291251的专栏
用Python让小朋友的手绘图跳起来(附源码)
(animated_drawings) AnimatedDrawings % cd torchserve # 创建镜像 (animated_drawings) torchserve % docker build -t docker_torchserve # 运行容器 (animated_drawings) torchserve % docker run -d --name docker_torchserve -p 8080:8080 -p 8081 :8081 docker_torchserve 等待约10秒后，通过ping服务器来确保Docker和TorchServe正常工作。 (animated_drawings) torchserve % cd ..
66410编辑于 2023-08-21 - 来自专栏GiantPandaCV
《PytorchConference2023 翻译系列》17-让pytroch模型更快速投入生产的方法——torchserve
TorchServe优点 提供一整套解决方案运行PyTorch模型 支持高可扩展性和多进程 5. TorchServe技术实现 后端使用Java管理多进程工作 Python进程负责推理计算 6. 很多时候，我在TorchServe上工作，人们经常问我TorchServe和FastAPI之间的区别，我的回答是，如果你只是做前面其中的四点，FastAPI做得很好，不需要再去使用TorchServe。 这是一个来自沃尔玛搜索团队的仪表盘示例，他们一直在使用TorchServe来扩展他们的搜索，并且效果很好。这很酷，因为沃尔玛是世界上最大的公司之一，他们是世界上最大的雇主。 对于他们来说，使用TorchServe和Python进行扩展工作真的很不错。 我很高兴地看到TorchServe运行得非常顺利。 所以，现在来做一个总结，我感到很幸运的是，TorchServe现在成为了SageMaker、Vertex、MLflow和Kubeflow这些平台上服务PyTorch模型的默认方法。
59410编辑于 2024-01-23 - 来自专栏磐创AI技术团队的专栏
PyTorch 1.5发布：Python与C++可转换，不再支持Python2
磐创AI分享 来源 | 图灵TOPIA 作者 | KHARIJOHNSON 【导读】在新版本中，Facebook 与 AWS 还合作共同推出了大规模生产级工具库 TorchServe。 此次发布PyTorch 1.5此版本主要包括对几个新的API 的添加和改进，包括对c++前端API的支持（稳定版）和库升级，比如Facebook与Amazon 合作开发的模型服务库TorchServe。 TorchServe库同时支持Python和TorchScript模型；它可以同时运行一个模型的多个版本，甚至可以在模型存档中回滚到过去的版本。 此外，PyTorch 1.5还升级了主要的torchvision、torchtext和torchaudio库，以及与AWS共同构建的TorchElastic和TorchServe模型服务库。 原文链接： https://venturebeat.com/2020/04/21/facebook-partners-with-aws-on-pytorch-1-5-upgrades-like-torchserve-for-model-serving
90530发布于 2020-04-24 - 来自专栏GiantPandaCV
《PytorchConference2023 翻译系列》18-如何在TorchServe上提供LLMs的分布式推理
TorchServe支持情况 集成主流框架如DeepSpeed、Accelerate等 提供自身PP和TP能力 4. TorchServe优化技术 微批处理 动态批处理 流式预测API 5. 我将跟随Mark的讨论，讲解如何在TorchServe上提供LLMs的分布式推理和其他功能。首先，为什么需要分布式推理呢？简单来说，大部分这些模型无法适应单个GPU。 现在让我们转向Torchserve，看看我们在Torchserve上支持什么。 今天在Torchserve上，我们已经集成了分布式推理解决方案，我们与DeepSpeed、Hugging Face Accelerate、Neuron SDK与AWS自定义芯片都有集成。 Torchserve原生API还具备PP和TP功能。我们还有微批处理、连续批处理和流式响应的API，这是我们团队和AWS的Matias和Lee共同开发的。 现在让我们来看一下PP。
41710编辑于 2024-01-23 - 来自专栏深度学习与python
PyTorch 分布式训练原来可以更高效 | Q推荐
基于这样的问题，2020 年 4 月亚马逊云科技联手 Facebook 推出了 TorchServe PyTorch 模型服务库。 采用 TorchServe 能够在不编写自定义代码的情况下轻松地大规模部署训练好的 PyTorch 模型。 借助 TorchServe 多模型服务、适用于 A/B 测试的模型版本控制、监控指标以及适用于应用程序集成的 RESTful 终端节点等特性，开发者可以快速将模型从研究推向生产。 为进一步简化模型在生产环境中的部署，亚马逊云科技与 Meta 将持续优化 TorchServe 的功能，从而让深度学习模型更快的投入生产。 TorchServe 近年来有哪些创新，又有哪些应用实践，敬请期待 6 月 23 日 14:00-18:00 以“人工智能新引擎”为主题的亚马逊云科技创新大会（Innovate）。
1.7K10编辑于 2023-03-29 - 来自专栏一点人工一点智能
2022 年了，PyTorch 和 TensorFlow 你选哪个？
去年推出的 TorchServe 和前几周推出的 PyTorch Live 为用户提供了急需的本地部署工具。但二者之间的差距还有多大？我们来看进一步的分析。 TorchServe： TorchServe 是 AWS 和 Facebook 合作的开源部署框架，于 2020 年发布。 TorchServe 同时支持 REST 和 gRPC API。 相比之下，PyTorch Live 只专注于移动平台，而 TorchServe 仍处于起步阶段。因此综合来看，第二轮（部署便捷性）的胜出者是 TensorFlow。 鉴于 PyTorch 最近发布了 TorchServe，如果你需要访问仅在 PyTorch 中可用的 SOTA 模型，那也可以考虑使用 PyTorch。
1.7K20编辑于 2022-12-27 - 来自专栏C博文
从实验室到生产线：机器学习模型部署的七大陷阱及PyTorch Serving避坑指南
综合征 PyTorch版本差异导致算子行为改变 CUDA驱动不兼容 系统库缺失（如libglib） PyTorch Serving解决方案： # 基于官方镜像保证环境一致性 FROM pytorch/torchserve = current_replicas: scale_deployment("torchserve", target_replicas) （3）零停机更新流程 4 端到端部署实战：图像分类服务 \ --serialized-file model.pt \ --handler image_classifier \ --export-path model_store # 启动服务 torchserve 监控覆盖全生命周期 安全不是可选项 更新策略决定可用性 行动建议： 建立部署检查清单 实施分级监控 定期进行部署演练 采用渐进式交付策略 附录：PyTorch Serving命令速查表 # 启动服务 torchserve
27610编辑于 2025-07-15 - 来自专栏深度学习与python
伴鱼机器学习预测服务：设计篇
其一，使用 TorchServe 或 TensorFlow Serving 这样和训练框架高度耦合的 serving 方案。 使用 TorchServe 或 TensorFlow Serving 能保证性能，但不能提供多框架支持；而使用 Flask 搭建预测服务，尽管可以支持任意框架训练出来的模型，但服务性能偏差。 其结果是，对于不同类型的模型（LightGBM vs PyTorch），架构非常不同（Flask vs TorchServe）。 上线模型需要工程同学的配合。
77410发布于 2021-09-22 开源 vs 商业：主流AI生态概览——从PyTorch到OpenAI的技术格局之争
代码直观如 NumPy； 动态计算图（eager execution）便于调试； 在学术界占据绝对主导地位（NeurIPS、ICML 论文超80%使用PyTorch）； TorchScript 支持模型部署，TorchServe 主要用途 研究/开发 工业部署 模型分发/实验 API服务/产品集成 学习曲线 低（对Python友好） 中（需理解图机制） 极低（pipeline()一行调用） 极低（调API） 部署能力 中（需TorchServe
38410编辑于 2025-12-21- 来自专栏数据科学（冷冻工厂）
PyTorch 与 TensorFlow：机器学习框架之战
PyTorch TorchServe：TorchServe 是一个相对较新的补充，提供了一种大规模部署 PyTorch 模型的简单方法。它无缝处理版本控制和日志记录等任务。 PyTorch 研究到生产：借助 TorchScript 和 TorchServe 等工具，PyTorch 正在弥合研究和生产之间的差距，确保模型可以无缝过渡。
1.3K20编辑于 2023-10-25 - 来自专栏OpenMMLab
叮咚 ~ 你订阅的 OpenMMLab 开源社区 10 月刊已送达
MMAction2 新功能 - 支持 TorchServe - 添加视频结构化 demo - 支持使用 3D 骨架点进行动作识别 - 添加 PoseC3D 在 UCF, HMDB 上的 benchmark MMPose 新功能 - 支持动物姿态数据集AP-10K（NeurIPS’19） - 支持 TorchServe 部署 - 增加 HRNetv2 在 300W 和 COFW 数据集上的预训练模型 Bug
94420编辑于 2022-01-18 - 来自专栏软件安装
AI应用开发
Keras 自然语言处理：Hugging Face Transformers、spaCy 计算机视觉：OpenCV、Detectron2、YOLO 工程化工具 模型部署：ONNX、TensorRT、TorchServe
39110编辑于 2025-11-12 - 来自专栏AI进修生
LitServe：开源！闪电般快速部署AI模型的服务引擎！灵活、简单、企业级（比FastAPI快2倍）
借助批处理和 GPU 自动缩放等附加功能，LitServe 可以高效扩展，处理比 FastAPI 和 TorchServe 更多的并发请求，从而将性能提升到 2 倍以上。
41110编辑于 2024-12-02 - 来自专栏信数据得永生
PyTorch 2.2 中文官方教程（十五）
使用 TorchServe 进行练习 在这个练习中，让我们将我们迄今讨论过的 CPU 性能调优原则和建议应用到TorchServe apache-bench 基准测试。 （要求 Torchserve>=0.6.1） 经过这个练习，我们将验证我们更喜欢避免逻辑核心，而是通过核心固定实现本地内存访问，使用真实的 TorchServe 用例。 最后，我们将所有学到的东西应用到 TorchServe 中，以提升开箱即用的 TorchServe CPU 性能。 使用 TorchServe 进行练习 让我们使用 TorchServe 对比 PTMalloc 和 JeMalloc 进行分析。 使用 TorchServe 进行练习 让我们使用 TorchServe 来分析 Intel® Extension for PyTorch*的优化。
1.1K10编辑于 2024-02-05 从零到工业级落地的全栈实战指南
Lite Micro在MCU上的部署 神经网络架构搜索(NAS)优化边缘模型 联邦学习与差分隐私的融合应用 四、开发者进化路线图 工具链全景图： 开发框架：PyTorch 2.0 + JAX 部署工具：TorchServe
39010编辑于 2025-03-19- 来自专栏OpenMMLab
叮咚 ~ 你订阅的 OpenMMLab 开源社区 12 月刊已送达
- MMOCR 现已支持 TorchServe，用户可以通过封装好的 API 直接调用模型进行推理。 - 新增了对 Open Images v5 数据集的支持。 新特性 - 增加 ABINet 模型 - KIE 支持了 Openset 任务 - 增加 Open Images v5 数据集支持 - 支持了 KIE 中文结果可视化 - 新增 TorchServe 对文本检测和识别模型的支持
77130编辑于 2022-01-18 - 来自专栏PyVision
2020 PyTorch 开发者日
Facebook AI 12:10–12:20 PM | PyTorch/XLA Internal — Jack Cao, Software Engineer, Google 12:20–12:30 PM | TorchServe
78541发布于 2020-11-17 - 来自专栏机器之心
PyTorch 1.5上线：加入稳定C++前端，高级自动梯度API
机器之心报道 机器之心编辑部 在新版本中，Facebook 与 AWS 还合作共同推出了大规模生产级工具库 TorchServe。
69530发布于 2020-04-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号