先分清是本地私有化还是直接调 API。私有化部署 Kimi 开源版主要卡显存：百亿级参数 FP16 加载一般要 40G 以上显存，单卡不够就用 vLLM 或 SGLang 做多卡张量并行，两个框架对 Moonshot 系架构支持都比较成熟。步骤大致是：从 HuggingFace 或 ModelScope 拉权重，起 vLLM 时指定 tensor-parallel-size 为实际卡数，然后按 OpenAI 兼容接口暴露服务，业务侧基本不用改代码。没有强私有化需求就直接走 Kimi 官方 API，自建的成本大头是 GPU 而不是模型。想省成本跑量化版的话，GPTQ 或 AWQ 量化后单张 24G 卡也能跑，但精度有折损，先拿自己业务的真实 case 回归测一遍再定。... 展开详请