我在码头的图像里有一个机器学习模型。我将码头映像推送到google容器注册中心,然后将其部署到一个Kubernetes吊舱中。有一个运行在端口8000上的fastapi应用程序,这个Fastapi端点是公共的(称为mymodel:8000)。
快餐店的结构如下:
app.get("/homepage")
asynd def get_homepage()
app.get("/model):
aysnc def get_modelpage()
app.post("/model"):
async def get_results(query: Form(...))用户可以放置查询并提交查询,并从码头内运行的机器学习模型中获得结果。我希望限制所有用户组合进行查询的次数。因此,如果查询限制为100,则所有用户合计只能进行100个查询。
我想出了一种方法
存储存储GET和POST方法调用次数的数据库。一旦POST的总次数超过了限制,就停止接受更多的查询。
是否有一种使用Kubernetes极限的替代方法?例如,我可以定义一个limit_api_calls,使得访问mymodel:8000的总次数最大等于limit_api_calls。
我查看了文档,我只能找到CPU、内存和rateLimits的设置限制。
发布于 2022-10-18 10:37:49
有几种方法可以满足您的需要。
棘手的部分是在达到限制后你想要发生什么,如果它只是一个吊舱,你可以退出应用程序完成并清除它。
否则,如果您有一个带有其副本集的部署以及与其相关的几个资源(如configmap),您可能希望使用某种异步警报或轮询检查来清理与部署相关的所有内容。您可能希望深入了解诸如气流(Composer)这样的编排器,并使用一些工具(如Helm )来简化部署。
https://stackoverflow.com/questions/74108273
复制相似问题