回答情况：
提问时间：
问题标签：
0回答
大语言模型训练与推理算力如何成本估算？
并发、模型
大语言模型算力成本估算，影响因素有哪些？
推理并发量、模型参数、输入和输出内容长度、推理响应时间。如何具体估算算力成本？
浏览 414提问于2023-07-21
集成大型机器学习/深度学习模型微调的web应用程序如何处理这些模型的存储和检索以进行推理？我正在考虑的当前方法是以压缩格式将精调模型存储在S3或R2桶中。每次用户访问web应用程序并请求<em
浏览 0提问于2023-02-03得票数 0
回答已采纳
1回答
我有一个Jena本体模型()，我正在对其进行编程修改。此模型最初是使用创建的。问题是，随着程序的运行和模型的改变，默认的Jena Reasoner将会运行(并且运行，运行，再运行)。我更改了程序，使用创建了一个没有推理机的模型。它运行得非常快，没有表现出我之前看到的任何内存问题(即使是非常大的数据集)。当使用推理器(甚至是微型推理器)时，"grow“方法运行太慢，内存不足。如果我关闭了推理机，那么我就不能使用"pl
浏览 1修改于2009-03-17得票数 5
回答已采纳
有一个模型显示了99%的性能(10class图像分类)。但我不能使用更大的模型，因为我必须保持推理时间。 如果我使用另一个大模型训练知识蒸馏，是否会产生整体效应？
浏览 17提问于2021-07-14得票数 0
回答已采纳
我有一个经过训练的模型，我需要在一个大的图像目录上运行推理。理想情况下，给定一个keras模型+图像目录，我希望有一个包含文件名和预测概率的数组。我该如何做到这一点？
浏览 0提问于2020-02-22得票数 1
我有一张很大的卫星图像，想要在上面运行一个目标检测模型推理。目前，我对大图像进行切片，保存瓦片，然后读取它们，以便让我的模型输出检测结果(方框和蒙版)。
浏览 24提问于2019-03-11得票数 2
回答已采纳
我有一个相当大的本体(大约80 GB)。我认为推理机将整个本体带入内存进行推理过程，不是吗？有没有办法对一个80 GB的本体和16 GB的RAM进行推理？
浏览 17提问于2021-03-25得票数 0
回答已采纳
例如，有微型- YOLO，YOLO(基地)，..有些模型，如SVTR，人们确实把它放大到很小，很小，很大的版本，等等。微型AA(默认，基本版本)超大型A
我知道应用这个方法并不总是很好，但有时我需要推理速度，有时我需要精确性。
浏览 0提问于2022-09-12得票数 0
许多关于语义推理器的文章，都将稳健性作为推理器或推理算法的特征。然而，从维基百科()对soundness的定义中，我了解到soundness是我的模型的一个属性，独立于我应用于它的推理算法。以模型为例：Penguins have wings.
导致以下有效(可证明？)因此，当我把这个模型给一个例如基于Tableaux的算法，或者KAON2推理器，这两个都是合理的，他们仍然会给我这个
浏览 0修改于2012-12-27得票数 2
回答已采纳
我试图在CPU上运行一个类似Resnet的图像分类模型，并想知道运行模型的每一层所需的时间。将在下面的脚本中运行模型，给出在CPU上运行模型
浏览 3提问于2021-04-01得票数 0
回答已采纳
我将一个模型部署到SageMaker端点以进行推理。我的输入数据非常大，我想把它的Docker发送到端点，这样我就可以把它下载到部署的S3容器上。
浏览 30修改于2021-01-20得票数 0
回答已采纳
我在边缘设备(带有NVIDIA GTX 1080)上运行Mask R-CNN模型。我目前正在使用Detectron2 Mask R-CNN实现，我相信推理速度大约为5FPS。为了加快速度，我研究了其他推理引擎和模型实现。例如ONNX，但我无法获得更快的推理速度。 TensorRT在我看来非常有前途，但我还没有找到一个现成的“开箱即用”的实现。有没有其他成熟和快速的推理引擎或其他技术来加速推理？
浏览 73提问于2019-12-18得票数 7
我正在raspberry pi4B和jetson上运行yolov4对象检测模型。我得记录下推理时间。我使用12张图片进行评估。如何记录该模型的推理时间？有什么可以计算推理时间的吗？
浏览 1提问于2022-07-26得票数 0
要做到这一点，我想提供不同的模型，从空间以及拥抱脸。
由于这些模型是相当大的，为每个post请求加载模型的推理时间相当长，。我的想法是在FastAPI启动时(在app/main.py中)加载所有模型，但是，我不确定这是否是一个好的选择/想法，或者这种方法是否存在一些缺陷，因为模型将在缓存(？)中。
浏览 6修改于2021-01-08得票数 7
回答已采纳
0回答
在智能手机上，ncnn是否支持npu加速？
android、深度学习、腾讯云测试服务、人工智能
想在安卓手机上测试检测模型的推理耗时，目前用的是vulkan加速。想问一下ncnn能否调用npu加速模型推理
浏览 501提问于2022-06-15
我想使用Tensorflow 2.5在训练和推理时启用dropout。为此，我在模型中设置了dropout层，参数training = True。, training = False) 我故意将BatchNormalization = False放在模型预测函数(模型调用函数)中，因为我也在使用training层，并且我不希望在推理过程中启用它们但是，我不知道在模型预测函数中放入training = False是否会将dropout层另外设置为training = False (覆盖它)
浏览 119提问于2021-08-24得票数 0
我有一些训练数据，我用它来建立一个星火MLLib模型，它在一个蜂巢数据库中。我使用的是简单的线性回归模型和PySpark API。但是，当我使用我的模型进行推理时，我想从现有的Java代码库中进行推理。我需要对单个数据点进行快速推理，而不是批量推理。
浏览 0修改于2021-05-25得票数 4
如果一个大模型由端到端的单个模型组成，那么我(训练后的)能否只保留一个模型，并在推理过程中冻结/丢弃其他模型？一个例子:这个struct2depth (见下文)以一种无监督的方式进行了三种模型的培训。然而，我真正需要的是物体的运动，即3D Object Motion Estimation部分。
浏览 3提问于2021-01-22得票数 1
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号