推理一体机的账怎么算：什么规模值得从云上转到专属

推理一体机最近在社区里的声量明显变大——软硬一体的打包方案，号称「买断式 AI 算力」。作为管过推理成本的人，我的建议是把情绪放一边，这笔账其实结构很清晰，三个变量就能算明白。

变量一：你的利用率曲线

云端按量计费的本质是「租用率变现」——你为弹性付费。一体机的本质是「固定资本」——你为确定性付费。所以决策的第一变量是利用率曲线的形状：

• 利用率稳定在 60% 以上（白天满负荷、夜间可跑批），一体机摊销便宜过云端，规模越大差得越多
• 利用率抖动大（突发推理、活动峰值），云端弹性是刚需，买一体机等于为空转付费
• 中间态（基线稳定+偶发峰值）是最常见的：一体机扛基线 + 云端扛峰值的混合架构，比全押任何一边都理性

利用率怎么测？拿网关层的三个月计量数据画日利用率分布——没有计量的团队先回去把计量建了，这本账没有计量根本没法算（前两篇讲过怎么建）。

变量二：TCO 的隐藏项

一体机的报价单只包含硬件，真正的 TCO 还有四项隐藏成本：

1. 电与散热：满载功率 × 24h × 电价，一年下来不是小数
2. 运维人力：驱动、驱动兼容、故障换件——云端这些是厂商的事，自持有就是你的事
3. 模型迭代折旧：硬件三年折旧是财务口径，但 AI 硬件的实际贬值周期更接近 18 个月（新一代模型对算力特性的要求会变）——这是最大的隐藏项
4. 软件栈授权：有些一体机的推理框架/优化工具按年收授权费，报价单不写

变量三：数据合规的溢价

如果驱动你考虑一体机的是「数据不出门」而不是成本——那这笔账里有项「合规溢价」：为了数据主权愿意多付多少。这项没法替你算，但可以给个判断框架：合规溢价应该和「数据泄露的最坏损失」挂钩，而不是和「心里的不安程度」挂钩。前者可估算，后者会把你推向过度采购。

一句话决策树

利用率高且稳定 → 算 TCO 四隐藏项后大概率划算；利用率抖 → 留云端或混合；为了合规 → 先给合规溢价定个数再谈采购。三条都不沾的，大概率是被发布会氛围推动了——冷静三天再看。