首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >限制可访问Kubernetes吊舱端点的次数?

问限制可访问Kubernetes吊舱端点的次数?
EN

Stack Overflow用户
提问于 2022-10-18 08:58:30
回答 1查看 54关注 0票数 0

我在码头的图像里有一个机器学习模型。我将码头映像推送到google容器注册中心,然后将其部署到一个Kubernetes吊舱中。有一个运行在端口8000上的fastapi应用程序,这个Fastapi端点是公共的(称为mymodel:8000)。

快餐店的结构如下:

代码语言:javascript
复制
app.get("/homepage")
asynd def get_homepage()

app.get("/model):
aysnc def get_modelpage()

app.post("/model"):
async def get_results(query: Form(...))

用户可以放置查询并提交查询,并从码头内运行的机器学习模型中获得结果。我希望限制所有用户组合进行查询的次数。因此,如果查询限制为100,则所有用户合计只能进行100个查询。

我想出了一种方法

存储存储GET和POST方法调用次数的数据库。一旦POST的总次数超过了限制,就停止接受更多的查询。

是否有一种使用Kubernetes极限的替代方法?例如,我可以定义一个limit_api_calls,使得访问mymodel:8000的总次数最大等于limit_api_calls。

我查看了文档,我只能找到CPU、内存和rateLimits的设置限制。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2022-10-18 10:37:49

有几种方法可以满足您的需要。

  • 自定义实现:正如您所提到的,将收到的API调用数量保持在持久性层,并在到达后拒绝请求。
  • 使用服务网格: Istio (例如)将允许您限制接收的请求数量并充当断路器。
  • 使用外部Api Manager: Api还允许限制甚至向用户收费,但是如果它仅用于内部使用(而不是每次使用付费),我肯定不会推荐它。

棘手的部分是在达到限制后你想要发生什么,如果它只是一个吊舱,你可以退出应用程序完成并清除它。

否则,如果您有一个带有其副本集的部署以及与其相关的几个资源(如configmap),您可能希望使用某种异步警报或轮询检查来清理与部署相关的所有内容。您可能希望深入了解诸如气流(Composer)这样的编排器,并使用一些工具(如Helm )来简化部署。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/74108273

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档