回答情况：
提问时间：
问题标签：
问题
我正在使用TF的对象检测API来训练和部署一个实例分割模型。我能够成功地训练模型，将其打包到TF服务码头映像(截至2020年10月的latest标记)，并通过REST接口处理推理请求。但是，从推理请求返回的数据量非常大(数百Mb)。当推理请求和处理不发生在同一台机器上时，这是一个大问题，因为所有返回的数据都必须经过网络。是否有办法减少输出的数量(无论是在模型导出期间还是在TF服务映像中)，以便在推理期间允许更快
浏览 3提问于2020-10-04得票数 2
回答已采纳
我希望部署一个Tensorflow模型，以便可以使用RESTful应用程序接口访问它以进行推理。用户将通过Flask网站访问模型，并通过该网站上传数据。Flask网站会将数据发送到模型容器，并返回结果。
但是，对于我的用例，该模型每月最多访问几次，并且延迟不是很大的问题。让模型全天候运行在云服务器上将是一种巨大的
浏览 2提问于2018-11-25得票数 0
0回答
大语言模型训练与推理算力如何成本估算？
并发、模型
大语言模型算力成本估算，影响因素有哪些？
推理并发量、模型参数、输入和输出内容长度、推理响应时间。如何具体估算算力成本？
浏览 422提问于2023-07-21
我运行在以下场景中：
推理客户端所做的是从4个不同的摄像机(每个一个)获取图像，并将其传递给TF-用于推理，以便了解视频提要上所看到的内容。为了优化RAM，Tensorflow服务最近被引入到混合系统中，因为我们不将复制的模型加载到显卡中。而且性能看起来不太好，对于1080 p的图片，它看
浏览 3提问于2020-04-02得票数 6
我使用SSD移动网络架构进行迁移学习，在我自己的数据集上对模型进行训练。在python代码中，我能够很好地生成推理，但是当涉及到将模型与应用程序集成时，一切都变得糟糕透顶，我不幸地失败了。策略
因此，为了使用这个模型，我想出了一个在云服务器上托管模型的想法，每当我从android应用程序摄像头获取图像时，它就将图像发送到云，执行推理，并将结果返回给android应用程序。到目前为止，我已经对REST 进行了研究，特别是通过HTTP协议
浏览 2修改于2020-06-20得票数 0
我使用TensorFlow models对象检测通过此在云上训练模型，我想知道是否有一个选项也可以使用云ML引擎或Google cloud Function导出模型？在他们的教程中，只有一个
我有训练模型，现在我不想创建实例(或使用我的笔记本电脑)来创建导出的.pb文件以进行推理，谢谢您的帮助
浏览 4修改于2020-05-28得票数 0
0回答
腾讯云 轻量服务器 openclaw 一键更新 失效？
腾讯云、服务器、模型、应用管理、OpenClaw(Clawdbot)
腾讯云 轻量服务器 openclaw 一键更新 失效，配置的大模型和通道信息也丢失了，且当前无法通过应用管理页面 添加大模型和通道
浏览 75提问于2026-03-12
0回答
Nvidia如何设置龙虾自定义模型？
云服务器、nvidia、模型、配置、OpenClaw(Clawdbot)
云服务器小龙虾中设置自定义模型, 请问如何配置大善人的Nvidia，各种尝试跑不通...
浏览 49提问于2026-03-12
加载检查点后，我导出了模型，然后将saved_model.pb文件和所有变量复制到GCS bucket。在推理/服务期间，我得到这个错误： "error": "Prediction failed: Error during model execution: AbortionError(code=StatusCode.FAILED_PRECONDITION/LSTMLayers/stack_bidirectional_rnn/cell_0/bidirect
浏览 0修改于2018-11-10得票数 1
集成大型机器学习/深度学习模型微调的web应用程序如何处理这些模型的存储和检索以进行推理？我正在考虑的当前方法是以压缩格式将精调模型存储在S3或R2桶中。每次用户访问web应用程序并请求<em
浏览 0提问于2023-02-03得票数 0
回答已采纳
我计划结合使用SageMaker serverless无服务器推理和SageMaker Neo来部署我的模型，用于无服务器、低延迟的推理。然而，文件不清楚是否有可能这样做。根据Neo 的实例类型，我可以使用例如ml_m4实例。但是，Neo 的OutputConfig指定TargetDevice可以是lambda。无服务器推理指定"Serverless推理与AWS集成以提供高可用性.“，因此我假设底层实例与AWS具有相同(或兼
浏览 4提问于2022-09-08得票数 0
回答已采纳
我正在使用TensorFlow服务为初始模型服务。我是在Azure Kubernetes上这么做的，所以不是通过更标准和更有文档的google云。在我开始服务之前，我只是使用了一个推理脚本，然后在培训时将该文件与冻结的模型一起存储，然后交叉引用标签文件。但是如果服务的话，这是行不通的。因此，我的问题是，如何获得与模型相关的标签，以及理想情况下如何获得返回标签和概率的预测？
浏览 0提问于2018-11-29得票数 4
回答已采纳
我已经将我的模型部署到具有6个节点的生产Azure Kubernetes服务。我正在发送4mb大小的请求。当我发送微不足道的小请求时，它似乎起作用了。
浏览 2修改于2020-11-04得票数 2
每个型号的大小约为2-3 GB .现在，我如何在像GCP这样的云平台中将所有这些情感模型部署为一个可伸缩的服务，从而优化账单，最大限度地提高服务性能(低推理时间或延迟)。目前，我们正在将每个模型部署为一个单独的服务。对于每个模型，我们遵循以下步骤。
使用Flask开发服务:我们为我们的服务编写代码，包括处理请求的路由和逻辑。创建一个云负载均衡器:我们转到Google控制台并创建一个新的云</
浏览 0提问于2023-01-17得票数 1
2回答
腾讯云向量数据库支持百川7b大模型吗？
腾讯云、模型、向量数据库
你好，腾讯云向量数据库支持百川7b大模型吗？我们可以把处理放在腾讯云向量数据库处理后，接入百川7b大模型吗？
浏览 314提问于2024-03-20
我正在raspberry pi4B和jetson上运行yolov4对象检测模型。我得记录下推理时间。我使用12张图片进行评估。如何记录该模型的推理时间？有什么可以计算推理时间的吗？
浏览 1提问于2022-07-26得票数 0
我有一个大型机器学习/计算机视觉项目，它使用ONNX模型，使用python。该项目大约需要3秒(本地)才能加载模型+推断。加载onnx模型所需的时间: onnx推理所需的0.2702977657318115时间，onnx推理所需的1.673530101776123时间，onnx推理所需的时间0.7677013874053955在部署项目之后，这个加载时间总是在服务器上的每一个单独的点击时启动。
例如，如果4个用户一次请求，所有结果将花费大约3
浏览 6修改于2022-10-30得票数 1
回答已采纳
根据https://www.tensorflow.org/lite/convert的指示，我已经将tensorflow推理图转换为tflite模型文件(*.tflite)。我在我的GPU服务器上测试了tflite模型，它有4个Nvidia TITAN GPU。我使用tf.lite.Interpreter加载并运行了tflite模型文件。它像以前的tensorflow图一样工作，然而，问题是推理变得太慢了。当我检查原因时，我发现tf
浏览 45提问于2019-09-05得票数 3
两者都是现代的产品级推理服务器。TorchServe是PyTorch模型的DLC默认推理服务器。Triton还支持在PyTorch上进行SageMaker推理。
有谁有一个很好的对比矩阵吗？
浏览 26修改于2022-10-01得票数 1
回答已采纳
0回答
腾讯云大模型知识引擎与本地anythingllm？
存储、腾讯云、腾讯云智能体开发平台
我在腾讯云开通了大模型知识引擎的体验，现在我的知识库文档想要本地存储不想上传到云，我能不能在本地anythingllm上传知识库文档，再anythingllm调用大模型知识引擎，我该如何实现？
浏览 151提问于2025-04-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号