回答情况：
提问时间：
问题标签：
我希望部署一个Tensorflow模型，以便可以使用RESTful应用程序接口访问它以进行推理。用户将通过Flask网站访问模型，并通过该网站上传数据。Flask网站会将数据发送到模型容器，并返回结果。
但是，对于我的用例，该模型每月最多访问几次，并且延迟不是很大的问题。让模型全天候运行在云服务器上将是一种巨大的
浏览 2提问于2018-11-25得票数 0
0回答
大语言模型训练与推理算力如何成本估算？
并发、模型
大语言模型算力成本估算，影响因素有哪些？
推理并发量、模型参数、输入和输出内容长度、推理响应时间。如何具体估算算力成本？
浏览 422提问于2023-07-21
集成大型机器学习/深度学习模型微调的web应用程序如何处理这些模型的存储和检索以进行推理？我正在考虑的当前方法是以压缩格式将精调模型存储在S3或R2桶中。每次用户访问web应
浏览 0提问于2023-02-03得票数 0
回答已采纳
问题
我正在使用TF的对象检测API来训练和部署一个实例分割模型。我能够成功地训练模型，将其打包到TF服务码头映像(截至2020年10月的latest标记)，并通过REST接口处理推理请求。但是，从推理请求返回的数据量非常大(数百Mb)。当推理请求和处理不发生在同一台机器上时，这是一个大问题，因为所有返回的数据都必须经过网络。是否有办法减少输出的数量(无论是在模型导出期间还是在TF服务映像中)，以便在推理期间允许更快
浏览 3提问于2020-10-04得票数 2
回答已采纳
我使用SSD移动网络架构进行迁移学习，在我自己的数据集上对模型进行训练。在python代码中，我能够很好地生成推理，但是当涉及到将模型与应用程序集成时，一切都变得糟糕透顶，我不幸地失败了。策略
因此，为了使用这个模型，我想出了一个在云服务器上托管模型的想法，每当我从android应用程序摄像头获取图像时，它就将图像发送到云，执行推理，并将结果返回给android应用程序。到目前为止，我已经对REST 进行了研究，特别是通过HTTP协议
浏览 2修改于2020-06-20得票数 0
我使用TensorFlow models对象检测通过此在云上训练模型，我想知道是否有一个选项也可以使用云ML引擎或Google cloud Function导出模型？在他们的教程中，只有一个
我有训练模型，现在我不想创建实例(或使用我的笔记本电脑)来创建导出的.pb文件以进行推理，谢谢您的帮助
浏览 4修改于2020-05-28得票数 0
每个型号的大小约为2-3 GB .现在，我如何在像GCP这样的云平台中将所有这些情感模型部署为一个可伸缩的服务，从而优化账单，最大限度地提高服务性能(低推理时间或延迟)。目前，我们正在将每个模型部署为一个单独的服务。对于每个模型，我们遵循以下步骤。
使用Flask开发服务:我们为我们的服务编写代码，包括处理请求的路由和逻辑。创建一个云负载均衡器:我们转到Google控制台并创建一个
浏览 0提问于2023-01-17得票数 1
加载检查点后，我导出了模型，然后将saved_model.pb文件和所有变量复制到GCS bucket。在推理/服务期间，我得到这个错误： "error": "Prediction failed: Error during model execution: AbortionError(code=StatusCode.FAILED_PRECONDITION/LSTMLayers/stack_bidirectional_rnn/cell_0/bidirect
浏览 0修改于2018-11-10得票数 1
0回答
腾讯云 轻量服务器 openclaw 一键更新 失效？
腾讯云、服务器、模型、应用管理、OpenClaw(Clawdbot)
腾讯云 轻量服务器 openclaw 一键更新 失效，配置的大模型和通道信息也丢失了，且当前无法通过应用管理页面 添加大模型和通道
浏览 75提问于2026-03-12
0回答
Nvidia如何设置龙虾自定义模型？
云服务器、nvidia、模型、配置、OpenClaw(Clawdbot)
云服务器小龙虾中设置自定义模型, 请问如何配置大善人的Nvidia，各种尝试跑不通...
浏览 49提问于2026-03-12
我正在使用TensorFlow服务为初始模型服务。我是在Azure Kubernetes上这么做的，所以不是通过更标准和更有文档的google云。在我开始服务之前，我只是使用了一个推理脚本，然后在培训时将该文件与冻结的模型一起存储，然后交叉引用标签文件。但是如果服务的话，这是行不通的。因此，我的问题是，如何获得与模型相关的标签，以及理想情况下如何获得返回标签和概率的预测？
浏览 0提问于2018-11-29得票数 4
回答已采纳
2回答
腾讯云向量数据库支持百川7b大模型吗？
腾讯云、模型、向量数据库
你好，腾讯云向量数据库支持百川7b大模型吗？我们可以把处理放在腾讯云向量数据库处理后，接入百川7b大模型吗？
浏览 314提问于2024-03-20
我想问一下，inception_v3模型是否使用扩展，因为我计划在服务器上运行我的模型以进行推理，但是这个服务器只安装了tensorflow版本1.3。这个版本与上述的扩展不兼容，所以我想确保我的模型能够在服务器上工作。
浏览 1修改于2018-03-07得票数 0
回答已采纳
我在Tensorflow模型服务器上观察到CPU的性能问题。与原始的Tensorflow模型推理相比，它的推理时间增加了一倍。两者都是用MKL构建的，只用于CPU。-config=mkl -c opt --copt=-msse4.1 --copt=-msse4.2 --copt=-mavx --copt=-mavx2 --copt=-mfma --copt=-O3=opt --copt=-msse4.1 --copt=-msse4.2 --copt=-mavx --copt=-mavx2
浏览 7修改于2017-11-28得票数 1
0回答
腾讯云大模型知识引擎与本地anythingllm？
存储、腾讯云、腾讯云智能体开发平台
我在腾讯云开通了大模型知识引擎的体验，现在我的知识库文档想要本地存储不想上传到云，我能不能在本地anythingllm上传知识库文档，再anythingllm调用大模型知识引擎，我该如何实现？
浏览 151提问于2025-04-22
我已经成功地在定制200个类上从头开始训练了inception v3模型。现在我在我的输出目录中有了ckpt文件。如何使用这些模型来运行推理？最好是在GPU上加载模型，并在模型保留在GPU上时随时传递图像。使用TensorFlow服务对我来说不是一个选择。
注意:我曾尝试冻结这些模型，但在冻结时未能正确放置output_nodes。我使用了ImagenetV3/Predictions/Softmax，但无法将其与f
浏览 5提问于2017-11-27得票数 0
两者都是现代的产品级推理服务器。TorchServe是PyTorch模型的DLC默认推理服务器。Triton还支持在PyTorch上进行SageMaker推理。
有谁有一个很好的对比矩阵吗？
浏览 26修改于2022-10-01得票数 1
回答已采纳
在使用Rest部署模型进行在线推理时，可以节省VM成本，ADB允许我们通过REST部署在线推理模型。为此，亚行创建了一个专门为特定模型服务的VM。“数据科学家”可以创建和部署多个测试在线推理的模型，因此，由于这些新创建的VM一直在运行，成本可以迅速增长，而且是无法控制的，也是不必要的。
在一段时间的不活动之后，有可能关闭他们？
浏览 3提问于2022-06-10得票数 0
我有一个大型机器学习/计算机视觉项目，它使用ONNX模型，使用python。该项目大约需要3秒(本地)才能加载模型+推断。加载onnx模型所需的时间: onnx推理所需的0.2702977657318115时间，onnx推理所需的1.673530101776123时间，onnx推理所需的时间0.7677013874053955在部署项目之后，这个加载时间总是在服务器上的每一个单独的点击时启动。
例如，如果4个用户一次请求，所有结果将花费大约3
浏览 6修改于2022-10-30得票数 1
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号