回答情况：
提问时间：
问题标签：
我希望部署一个Tensorflow模型，以便可以使用RESTful应用程序接口访问它以进行推理。用户将通过Flask网站访问模型，并通过该网站上传数据。Flask网站会将数据发送到模型容器，并返回结果。
但是，对于我的用例，该模型每月最多访问几次，并且延迟不是很大的问题。让模型全天候运行在云服务器上将是一种巨大的
浏览 2提问于2018-11-25得票数 0
0回答
大语言模型训练与推理算力如何成本估算？
并发、模型
大语言模型算力成本估算，影响因素有哪些？
推理并发量、模型参数、输入和输出内容长度、推理响应时间。如何具体估算算力成本？
浏览 423提问于2023-07-21
问题
我正在使用TF的对象检测API来训练和部署一个实例分割模型。我能够成功地训练模型，将其打包到TF服务码头映像(截至2020年10月的latest标记)，并通过REST接口处理推理请求。但是，从推理请求返回的数据量非常大(数百Mb)。当推理请求和处理不发生在同一台机器上时，这是一个大问题，因为所有返回的数据都必须经过网络。是否有办法减少输出的数量(无论是在模型导出期间还是在TF服务映像中)，以便在推理期间允许更快
浏览 3提问于2020-10-04得票数 2
回答已采纳
我使用SSD移动网络架构进行迁移学习，在我自己的数据集上对模型进行训练。在python代码中，我能够很好地生成推理，但是当涉及到将模型与应用程序集成时，一切都变得糟糕透顶，我不幸地失败了。策略
因此，为了使用这个模型，我想出了一个在云服务器上托管模型的想法，每当我从android应用程序摄像头获取图像时，它就将图像发送到云，执行推理，并将结果返回给android应用程序。到目前为止，我已经对REST 进行了研究，特别是通过HTTP协议
浏览 2修改于2020-06-20得票数 0
我使用TensorFlow models对象检测通过此在云上训练模型，我想知道是否有一个选项也可以使用云ML引擎或Google cloud Function导出模型？在他们的教程中，只有一个
我有训练模型，现在我不想创建实例(或使用我的笔记本电脑)来创建导出的.pb文件以进行推理，谢谢您的帮助
浏览 4修改于2020-05-28得票数 0
0回答
腾讯云 轻量服务器 openclaw 一键更新 失效？
腾讯云、服务器、模型、应用管理、OpenClaw(Clawdbot)
腾讯云 轻量服务器 openclaw 一键更新 失效，配置的大模型和通道信息也丢失了，且当前无法通过应用管理页面 添加大模型和通道
浏览 75提问于2026-03-12
0回答
Nvidia如何设置龙虾自定义模型？
云服务器、nvidia、模型、配置、OpenClaw(Clawdbot)
云服务器小龙虾中设置自定义模型, 请问如何配置大善人的Nvidia，各种尝试跑不通...
浏览 49提问于2026-03-12
加载检查点后，我导出了模型，然后将saved_model.pb文件和所有变量复制到GCS bucket。在推理/服务期间，我得到这个错误： "error": "Prediction failed: Error during model execution: AbortionError(code=StatusCode.FAILED_PRECONDITION/LSTMLayers/stack_bidirectional_rnn/cell_0/bidirect
浏览 0修改于2018-11-10得票数 1
集成大型机器学习/深度学习模型微调的web应用程序如何处理这些模型的存储和检索以进行推理？我正在考虑的当前方法是以压缩格式将精调模型存储在S3或R2桶中。每次用户访问web应用程序并请求<em
浏览 0提问于2023-02-03得票数 0
回答已采纳
我正在使用TensorFlow服务为初始模型服务。我是在Azure Kubernetes上这么做的，所以不是通过更标准和更有文档的google云。在我开始服务之前，我只是使用了一个推理脚本，然后在培训时将该文件与冻结的模型一起存储，然后交叉引用标签文件。但是如果服务的话，这是行不通的。因此，我的问题是，如何获得与模型相关的标签，以及理想情况下如何获得返回标签和概率的预测？
浏览 0提问于2018-11-29得票数 4
回答已采纳
每个型号的大小约为2-3 GB .现在，我如何在像GCP这样的云平台中将所有这些情感模型部署为一个可伸缩的服务，从而优化账单，最大限度地提高服务性能(低推理时间或延迟)。目前，我们正在将每个模型部署为一个单独的服务。对于每个模型，我们遵循以下步骤。
使用Flask开发服务:我们为我们的服务编写代码，包括处理请求的路由和逻辑。创建一个云负载均衡器:我们转到Google控制台并创建一个新的云</
浏览 0提问于2023-01-17得票数 1
2回答
腾讯云向量数据库支持百川7b大模型吗？
腾讯云、模型、向量数据库
你好，腾讯云向量数据库支持百川7b大模型吗？我们可以把处理放在腾讯云向量数据库处理后，接入百川7b大模型吗？
浏览 314提问于2024-03-20
两者都是现代的产品级推理服务器。TorchServe是PyTorch模型的DLC默认推理服务器。Triton还支持在PyTorch上进行SageMaker推理。
有谁有一个很好的对比矩阵吗？
浏览 26修改于2022-10-01得票数 1
回答已采纳
0回答
腾讯云大模型知识引擎与本地anythingllm？
存储、腾讯云、腾讯云智能体开发平台
我在腾讯云开通了大模型知识引擎的体验，现在我的知识库文档想要本地存储不想上传到云，我能不能在本地anythingllm上传知识库文档，再anythingllm调用大模型知识引擎，我该如何实现？
浏览 151提问于2025-04-22
在使用Rest部署模型进行在线推理时，可以节省VM成本，ADB允许我们通过REST部署在线推理模型。为此，亚行创建了一个专门为特定模型服务的VM。“数据科学家”可以创建和部署多个测试在线推理的模型，因此，由于这些新创建的VM一直在运行，成本可以迅速增长，而且是无法控制的，也是不必要的。
在一段时间的不活动之后，有可能关闭他们？
浏览 3提问于2022-06-10得票数 0
因此，我目前正在从事一个为多个NLP服务的FastAPI项目。要做到这一点，我想提供不同的模型，从空间以及拥抱脸。
由于这些模型是相当大的，为每个post请求加载模型的推理时间相当长，。我的想法是在FastAPI启动时(在app/main.py中)加载所有模型，但是，我不确定这是否是一个好的选择/想法，或者这种方法是否存在一些缺陷，因为模型将在缓存(？)中。
浏览 6修改于2021-01-08得票数 7
回答已采纳
我一直在我训练的一个模型上遵循代码实验室，并创建了一个带有嵌入权重的冻结量化图。它被捕获在一个单独的文件中--比如my_quant_graph.pb。由于我可以很好地使用该图与进行推理，我认为我可以使用云ML引擎来做同样的事情，但它似乎只能在SavedModel模型上工作。
浏览 2提问于2017-06-02得票数 10
回答已采纳
有一个模型显示了99%的性能(10class图像分类)。但我不能使用更大的模型，因为我必须保持推理时间。 如果我使用另一个大模型训练知识蒸馏，是否会产生整体效应？
浏览 17提问于2021-07-14得票数 0
回答已采纳
1回答
我有一个Jena本体模型()，我正在对其进行编程修改。此模型最初是使用创建的。问题是，随着程序的运行和模型的改变，默认的Jena Reasoner将会运行(并且运行，运行，再运行)。我更改了程序，使用创建了一个没有推理机的模型。它运行得非常快，没有表现出我之前看到的任何内存问题(即使是非常大的数据集)。当使用推理器(甚至是微型推理器)时，"grow“方法运行太慢，内存不足。如果我关闭了推理机，那么我就不能使用"pl
浏览 1修改于2009-03-17得票数 5
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号