AI革命中最具代表性的两家公司——英伟达和Palantir Technologies——携手合作,创建了一个AI参考架构操作系统。
新的Palantir AI OS参考架构(AIOS-RA)旨在支持从硬件采购到应用部署的端到端流程。它将作为私有和公共实体设计、部署和扩展高性能AI工厂的蓝图。
该架构在英伟达Blackwell Ultra系统上运行训练和推理任务,该系统集成了八个Blackwell Ultra GPU和Spectrum-X以太网网络。
参考架构建立在强化的Kubernetes基础上,运行各种Foundry服务,如Catalog、Build和Multipass。它还集成了Palantir的完整软件套件,包括AIP、Foundry、Apollo、Rubix和AIP Hub。
管理通过Palantir Rubix进行零信任Kubernetes安全管理,Apollo负责自主部署和生命周期监督。
英伟达的软件堆栈也包含在内,包括英伟达AI Enterprise、CUDA-X库、Nemotron开源模型和Magnum IO加速性能组件。
这项合作让企业完全控制其数据、AI模型和应用程序,同时支持使用开源AI模型和相关数据加速工具。
Palantir AI OS参考架构为企业提供对其数据、AI模型和应用程序的完全控制。对于拥有现有GPU基础设施、延迟敏感工作流程、数据主权要求和高度地理分布的客户来说,这尤为关键。
Palantir首席架构师阿克沙伊·克里希纳斯瓦米在声明中表示:"从我们与美国政府的首次部署开始,以及此后的每次部署中,我们的软件都必须在最复杂和敏感的环境中满足客户必须保持控制的要求。"
他补充说:"与英伟达合作——并基于许多客户现有的投资——我们自豪地交付一个完全集成的AI操作系统,该系统针对英伟达加速计算基础设施进行了优化,使客户能够实现本地、边缘和主权云部署的承诺。"
主权AI是一个新兴市场,代表一个国家努力使用自己的数据开发和维护对自己AI的控制,并将数据保持在其边界内。
Q&A
Q1:Palantir AI OS参考架构是什么?它能解决什么问题?
A:Palantir AI OS参考架构(AIOS-RA)是Palantir与英伟达合作开发的AI操作系统,旨在支持从硬件采购到应用部署的端到端流程,为企业提供设计、部署和扩展高性能AI工厂的完整蓝图。
Q2:这个架构主要适用于哪些企业和场景?
A:该架构特别适用于拥有现有GPU基础设施、有延迟敏感工作流程、数据主权要求和高度地理分布的企业客户,尤其是那些需要完全控制自己数据、AI模型和应用程序的组织。
Q3:主权AI概念在这个合作中有什么意义?
A:主权AI代表一个国家努力使用自己的数据开发和维护对自己AI的控制,并将数据保持在其边界内。这个架构支持本地、边缘和主权云部署,帮助国家和组织实现数据主权要求。