Kubernetes机器学习模型服务

Question

是否有办法为库伯奈特的数百个机器学习模型提供服务？像Kfserving这样的解决方案似乎更适合于只有一个经过训练的模型，或者有几个版本的模型，并且这个模型可以满足所有的请求。例如，一种适用于所有用户的提前打字机模型。

但是，是否有一种建议的方法来服务数百或数千个这样的模型?例如，，一个针对每个用户的数据进行专门培训的提前输入模型。

要实现这样的目标，最天真的方法是，每个预先提供服务的容器都在内存中维护一个本地模型缓存。但是，缩放到多个荚将是一个问题，因为每个缓存是本地的荚。因此，每个请求都需要被路由到加载模型的正确的吊舱。

而且，必须维护这样一个注册表，我们知道哪个吊舱装载了哪个模型，并对模型驱逐执行更新，这似乎是一项艰巨的工作。

Answer 1

您可以使用与抓取. 混合的T型台

Grab拥有大量的数据，我们可以利用这些数据来解决复杂的问题，例如欺诈性的用户活动，并为我们的客户提供我们产品的个性化体验。我们用来理解这些数据的工具之一是机器学习(ML)。 这就是T型台是如何创造出来的:一个易于使用、自助式、机器学习的模型，为每一个抢手的人提供服务平台。

更多关于T型台的信息，你可以在这里找到：猫步。

您可以使用TensorFlow和GoogleCloud.提供多种机器学习模型。

机器学习领域之所以会经历如此巨大的繁荣，是因为它真正有潜力让行业发生革命性变化，让生活变得更美好。一旦机器学习模式得到了培训，下一步就是将这些模型投入使用，让那些需要它们的人--无论是医院、自动驾驶汽车制造商、高科技农场、银行、航空公司，还是日常智能手机用户--都可以使用这些模型。在生产中，风险很大，人们负担不起服务器崩溃、连接速度减慢等。随着客户对机器学习服务需求的增加，我们希望能够无缝地满足这种需求，无论是凌晨3点还是下午3点。同样，如果需求减少，我们希望缩减承诺的资源，以节省成本，因为众所周知，云资源非常昂贵。

您可以在这里找到更多信息：机器学习服务。

还可以使用塞尔登.

Seldon是一个开源平台，用于在Kubernetes集群上部署机器学习模型。

特性：

• 在云中或前提下部署机器学习模型。
• 获取确保运行机器学习模型的正确治理和遵从性的指标。
• 创建由多个组件组成的推理图。
• 为使用 异构ML工具包。

有用的文档：Kubernetes-机器-学习。