回答情况：
提问时间：
问题标签：
tensorflow_serving_using_elastic_inference_with_your_own_model/tensorflow_serving_pretrained_model_elastic_inference.ipynb 我的弹性推理加速器附加到了我不确定模型是否部署正确。 我可以看到模型的docker正在运行。 ? 我还尝试了Rest API post to docker部署模型： curl -v -X POST \ -H 'content-type:application/json
浏览 22提问于2020-06-17得票数 2
回答已采纳
在使用Rest部署模型进行在线推理时，可以节省VM成本，ADB允许我们通过REST部署在线推理模型。为此，亚行创建了一个专门为特定模型服务的VM。“数据科学家”可以创建和部署多个测试在线推理的模型，因此，由于这些新创建的VM一直在运行，成本可以迅速增长，而且是无法控制的，也是不必要的。
在一段时间的不活动之后，有可能关闭他们？
浏览 3提问于2022-06-10得票数 0
我想使用异步推理端点来部署一个模型，该端点将自动缩放。但是，我找不到关于在不耗尽资源的情况下工作所需的配额的信息。
缩放是否需要某种特定类型的配额，以便可以在推理容器的不同实例上并行执行多个作业？文档中并不清楚配额是否适用于异步推理端点。显然，它们适用于实时推理端点，但是异步推理文档似乎根本没有提到它.
浏览 5修改于2022-08-08得票数 0
在Nvidia的博客中，他们介绍了他们的TensorRT如下：
NVIDIA TensorRT™是一种用于生产部署深度学习应用的高性能神经网络推理机。TensorRT可用于快速优化、验证和部署经过训练的神经网络，用于向超级计算机数据中心、嵌入式或汽车产品平台进行推理。所以我想知道，如果我有一个预先训练过的Tensorflow模型，我能在Jetson TX1中的TensorRT中使用它进行推理吗？
浏览 4修改于2017-08-10得票数 0
我用自己的交通标志分类数据集( dataset )对进行了培训，我希望将其部署到Android上，但和/或似乎只支持SSD模型。
有没有办法将更快的R模式部署到Android上？我的意思是，我怎样才能将速度更快的R冻结推理图放到android中，而不是SSD的冻结推理图？
浏览 4修改于2019-03-15得票数 3
回答已采纳
0回答
openvino神经棒不能推理yolov8模型？
python、部署、模型、树莓派
我想在树莓派中部署openvino的环境，用神经棒来推理yolov8模型，但是有人说神经棒推理不了yolov8这类新的模型，我想问一下能不能用
浏览 117提问于2024-03-13
我已经将我的模型部署到具有6个节点的生产Azure Kubernetes服务。我正在发送4mb大小的请求。当我发送微不足道的小请求时，它似乎起作用了。
浏览 2修改于2020-11-04得票数 2
我计划结合使用SageMaker serverless无服务器推理和SageMaker Neo来部署我的模型，用于无服务器、低延迟的推理。然而，文件不清楚是否有可能这样做。无服务器推理指定"Serverless推理与AWS集成以提供高可用性.“，因此我假设底层实例与AWS具有相同(或兼容)类型。
你用过这样的组合吗？它起作用了吗？
浏览 4提问于2022-09-08得票数 0
回答已采纳
在深入学习模型的推理api中，使用了一个烧瓶api(使用gunicorn) .这个特定的推理过程是非常密集的cpu (尚未使用gpu )。基于以下方面将其部署到kubernetes集群的最佳实践是什么：
，我应该创建多个豆荚处理请求使用单个枪手工人，还是更少的吊舱，使武装多工人？(节点内存footprint)since google提供了使用外部负载均衡器将您的部署公开为一个服务，我是否需要在stack?creating的相同节点上安装一个nginx服务器？-)
浏览 5提问于2020-04-05得票数 0
我用自己的训练和推理循环在AWS SageMaker实例上创建了自己的模型。我想要部署它，这样我就可以调用模型，以便从AWS进行推理。
浏览 7提问于2022-07-05得票数 0
回答已采纳
我正在尝试将本地的tensorflow模型部署到sagemaker端点。我希望包括自定义推理代码来转换输入数据。如果模型是经过培训的，并且已经位于S3桶中，那么我可以运行以下操作，这将正确地将模型部署到端点： model_data=saved_modeldocument_matcher', framework_version=tf_framework_version推
浏览 3修改于2022-02-10得票数 0
可以使用helm charts将Azure ML生成的映像部署到自我管理的Kubernetes中吗？我们只想使用图像和模型。我看到当它被部署到AKS中的推理集群时，Azure ML设置了某些ENV变量。那么，想要了解是否有人在自定义kubernetes集群上手动完成了此设置，以及挑战是什么？原因是要部署到已经由生产团队管理的集群。
浏览 8提问于2021-06-29得票数 1
我们试图在服务器上使用TensorFlow (TF)对图像进行推理。android应用程序将jpeg图像发送到我的机器，php api执行我的android推理(python)脚本并返回分数，大约需要6s，但是我们意识到加载TF需要很长时间，但是进行推理需要很短的时间，例如，一个请求占用10%的资源，另一个10%，因此它只有20%的时间同时进行两个推理，以及两个TF模型。TF取第一A，第二B，按顺序进行推理。
我们正在做的是：
设备发送j
浏览 1修改于2018-07-29得票数 0
我想在Heroku上使用github部署，因为我发现它非常方便。我有一个使用Django部署的机器学习web应用程序，它涉及一个推理模型。那么使用github部署在Heroku上部署大文件(~60 on )的最佳方法是什么？
谢谢!
浏览 3提问于2020-06-16得票数 4
回答已采纳
我正在使用AWS Sagemaker部署在Sagemaker之外训练的语音模型。我能够将我的模型转换成Sagemaker能够理解的东西，并将其部署为端点。问题是Sagemaker直接加载模型并调用.predict来获得推理。我无法确定在已部署的模型中可以在何处添加预处理功能。建议使用AWS Lambda或其他服务器进行预处理。
浏览 20提问于2021-04-09得票数 1
我知道您可以使用Sagemaker进行训练、部署、超参数调优和模型监控。 但是，看起来您必须创建一个推理端点，以便监视模型的推理性能。
浏览 5提问于2020-09-19得票数 1
回答已采纳
我尝试将其部署为仅用于推理，并在aws上找到了sagemaker。我不认为scikit学习基于可用的库，我也不想重新训练模型。是否可以仅部署已在sagemaker上的亚马逊网络服务S3中训练和呈现的模型？
浏览 0提问于2018-10-23得票数 2
1回答
目前，我正在探索Mxnet ()框架来部署它(仅用于推断)。由于我担心手机的执行时间性能，我想知道它是否运行在移动电话的GPU (Android/iOS)上。文档中提到，它可以使用多个CPU和GPU进行培训，但还不清楚是否可以在移动电话上使用GPU进行推理。它提到了对BLAS的依赖，因为它似乎在移动上使用CPU。有人能告诉我是否可以使用移动GPU和mxnet进行推理吗？如果没有，我的其他选择是什么？
浏览 2修改于2017-08-13得票数 1
回答已采纳
我知道，可以在google上部署用于培训作业的自定义容器，并且我已经能够使用命令实现相同的运行。some_region --master-image-uri=path/to/docker/image --config config.yaml培训部分文档可用
我的问题是，是否有可能在google ml上部署自定义容器以进行推断？
浏览 3提问于2019-10-25得票数 8
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号