使用kserve seldon或bentoml

Question

什么是更好的服务，塞尔登核心或bentoML？/disavantages的优点和各自的特点是什么

做了很多研究却找不到明确的答案

Answer 1

我也处于类似的境地，最近我一直在寻找服务前景的模型，以选择堆栈/技术的选择。目前，我们正在使用FastAPI将模型封装到微服务中，但我们希望将IO/网络绑定消费(通常来自业务逻辑)与计算/内存绑定消费(模型)分开，并将更好的业务流程(缩放、A/B测试的流量分布等)分割开来。

通常，您有两种工具：

microservice

• Servers

• 推理服务器，它处理将模型包装到一个

• 计划器中，它增加了用于缩放、部署和一般管理服务器船队

的编排功能。

BentoML是一个模型服务器，直接比较的不是Seldon或KServe，而是Seldon的MLServer/Python和KServe的KFModel (后者反过来使用Ray)。我觉得他们的功能集非常相似，所以哪一个最好取决于经验/尝试和错误。就我个人而言，此时我选择了BentoML，因为它似乎是最容易迭代的，但如果Bento也不工作，我也不会排除切换到其他人。

Seldon和KServe是更多的编排工具，这意味着它们的特性集，虽然包括推理服务器，但也超出了这一范围。BentoML也有一个编排工具，Yatai，但我觉得与上述两个工具相比，它仍然缺乏功能。好消息是，我认为Seldon和KServe应该与大多数推理服务器技术(即BentoML)一起工作，尽管与使用它们自己的解决方案相比，某些特性可能会退化。

我没有一个明确的答案，其中一个是最好的，从我的研究中，似乎人们似乎都以某种形式使用它们，比如：

deployment

• BentoML + Seldon Core

• Seldon's预打包推理服务器/自定义+ Seldon核心

• BentoML+ KServe

的

• BentoML + Helm

我个人的建议是，尝试每一种工具的快速入门教程，看看哪些最适合你的需求，通常是选择阻力最小的道路-- MLOps的前景变化很大，而且变化很快，有些工具比其他工具更成熟，所以不要在硬工具上投资太多对我来说是最有意义的。