1. 资源隔离维度
- 计算资源隔离:GPU 显存、CPU 核心、推理线程按租户配额分配,禁止超额占用
- 存储资源隔离:租户的私有向量库、对话历史、微调数据独立存储,不与其他租户混存
- 中间件资源隔离:消息队列、Redis 缓存按租户命名空间隔离
2. 权限管控体系
- 身份层:租户唯一标识 TenantID,所有请求必须携带合法 TenantID
- 权限层:接口权限、数据权限、操作权限分层管控
- 审计层:全量记录租户调用日志,追溯越权行为
3. 性能隔离机制
- 限流隔离:按租户设置每秒请求数 QPS、并发数上限,超出直接拒绝
- 优先级隔离:高优先级租户请求优先分配资源
- 排队隔离:租户请求独立队列,避免长耗时请求阻塞其他租户
4. 安全容器与沙箱隔离
采用 Kata Containers、Firecracker 等安全容器技术,容器运行于独立轻量 VM 中,兼具容器便利性与 VM 安全性,适合多租户不可信代码执行场景。