DOCA 2.5 的发布标志着其三周年。 它使用DOCA PCC来实现拥塞控制。 DOCA Flow:云部署的新增功能和增强功能 DOCA Flow是用于开发DOCA服务的重要编程工具。 DOCA 服务 以下是 DOCA 2.5 版本中升级的 DOCA 服务的一些示例: 主机基础网络 多卡萤火虫 存储 SNAPv4 基于主机的网络 基于主机的网络 (HBN) 在 DOCA 2.5 中进行了升级 要开始您的开发之旅并享受 DOCA 提供的所有优势,请立即下载 NVIDIA DOCA。 有关更多信息,请参阅以下资源: 揭秘 NVIDIA DOCA 了解何时使用 DOCA 驱动程序和 DOCA 库 DPU免费课程DOCA 简介 DOCA Flow 入门自定进度课程 今天提供人工智能就绪基础设施
DOCA开发软硬件环境。 在比赛之前,NVIDIA会先举办一场DOCA开发者线上训练营,向参赛者介绍BlueField DPU和DOCA编程技巧。 此外,DOCA开发者社区和卓越中心在2022年还将提供更多资源,如注册NVIDIA DOCA开发者抢先体验计划、DOCA软件开发套件文档、DPU用户指导文档和免费线上培训等,为不同阶段的开发者提供支持。 相信通过 DOCA 开发者计划的实施,可以有效推动 DOCA 中国开发者社区的发展,促进DOCA 开发者的人才培养与能力提升,使基于BlueField DPU 和 DOCA软件开发套件的解决方案具有更出色的性能优势和更短的上市时间 DOCA 中国开发者社区欢迎你的加入!查看NVIDIA BlueField DPU和NVIDIA DOCA资源大合集!
DOCA包括两部分: 1:DOCA-Host:该软件包安装在Host上,包括库和驱动程序 2:BlueField 软件包:该软件包位于DPU设备上,包括固件、OS、DOCA运行时驱动程序和库。 DOCA 库建立在DOCA 驱动之上,为开发者提供了更高层次的编程接口和功能调用,DOCA库已经提前做好性能优化,、场景丰富并有示例引导,从而使得开发者能够更便捷地利用 DPU的加速能力,开发出各种高性能 比如,DOCA Flow 库可用于定义和控制网络流量,实现网络策略和管理功能;DOCA App Shield 库专注于主机监控和威胁检测,提供高级容器监控功能等。 DOCA还配套了一系列工具包可供使用者使用: lDOCA Bench:可评估DOCA 应用程序的性能 lCapabilities Print:可打印在 DPU 中的可用设备及可见设备、他们的能力,以及可用的 可参考DOCA SDK官方文档以及开发社区进行DPU编程。
术语 DOCA: Data Center-on-a-Chip Architecture, 芯片上的数据中心架构 简介 NVIDIA DOCA™ SDK 使开发人员能够利用行业标准 API 在 NVIDIA 借助 DOCA,开发人员可以利用 NVIDIA BlueField 数据处理单元 (DPU) 和 SuperNIC 的强大功能,提供突破性的网络、安全和存储性能。 DOCA 是 BlueField 主要硬件实体的软件框架: DOCA示例代码 ├── doca-samples_2.6.0058-1_arm64.deb_dir │ ├── DEBIAN │ │ ├── control │ │ └── md5sums │ ├── opt │ │ └── mellanox │ │ └── doca │ │ 参考 doca-dpu-repo-ubuntu2204-local 更多DOCA软件生态文件列表: https://logread.cn/post/nvidia/nvidia_doca/, https:
ODOS实现的BlueField插件与OpenMP DOCA服务通过DOCA通信通道(CC)模块进行交互。 CC模块由厂商提供,用于在主机与DPU之间实现数据交换。 镜像通过DOCA通信通道(CC)发送至BlueField DPU。 DOCA OpenMP服务使用`dlopen`加载镜像,并通过每次`dlsym`调用返回每个请求symbol的地址。 该信息再次通过DOCA CC传输至OpenMP DOCA服务,由后者相应地执行代码。 3.OpenMP DOCA 服务 相应地,设备端的OpenMP DOCA 服务实现了 OpenMP BlueField 插件中所实现方法的服务器版本。 对于CUDA,消息通过`cudaMemcpyAsync`发送; 对于DOCA,使用`doca_comm_channel_ep_sendto` (另一端使用`doca_comm_channel_ep_recvfrom
DOCA是一套软件开发工具包(SDK),可对DPU进行编程以完成所有这些任务,而Morpheus是一种开放的应用程序框架,用于开发由AI优化的管道,用于实时过滤、处理和分类大量数据。 DOCA和Morpheus为零信任网络协同工作。 英伟达正在将DOCA更新到版本1.2,以支持诸多功能特性,比如软硬件身份验证、硬件加速线速数据加密、支持分布式防火墙和智能遥测以及策略实施(比如基于角色的访问控制和微服务或租户之间的安全隔离)等。 DOCA监控数据以设置正常流量基准线,以便发现可能代表未遂攻击的异常情况。Das说:“因此它可以学习和建立良好行为的模型。然后一旦它发现与良好行为有偏差,就会被标记为有问题。” 瞻博网络是第一家宣布计划采用BlueField和DOCA的网络安全供应商。 英伟达DOCA 1.2的抢先体验版将于11月30日开始发布,Morpheus现已发布。
>基于 NVIDIA DOCA 1.3 的零信任网络安全框架 NVIDIA DOCA 软件框架提供了一个全面、开放的开发平台,它集合了 API、驱动程序、库、示例代买、文档、服务和预打包容器,以简化和加速 NVIDIA DOCA FLOW 库 提供了一种新的方式来管理 NVIDIA BlueField DPU的数据包转发表,大幅提高数据流插入性能,提供了更大的灵活性。 # DOCA流检测器服务( Flow Inspector) 根据安全策略对指定的网路流量进行检测和分析,发现潜在的安全风险。 与此同时,NVIDIA DOCA 1.3 还新增和增强了其他 NVIDIA DOCA 服务,包括 NVIDIA DOCA 基于主机的网络(Host Based Networking)和安全的 NVIDIA DOCA 通信通道(Communication Channel)。
software/index.html 学习目录: https://nvdam.widen.net/s/wlbgbqr7cj/nvidia-learning-training-course-catalog DOCA 文档汇总: https://docs.nvidia.com/doca/sdk/index.html DOCA与UCX编程指导: https://docs.nvidia.com/doca/sdk/ucx-programming-guide https://docs.nvidia.com/doca/sdk/rdma-programming-guide/index.html DOCA核心编程指南: https://docs.nvidia.com /doca/sdk/doca-core-programming-guide/index.html DOCA参考应用汇总(概览): https://docs.nvidia.com/doca/sdk/applications-overview /index.html DOCA_PCC(可编程拥塞控制): https://docs.nvidia.com/doca/sdk/pcc/index.html 在 BlueField DPU 上使用 NVIDIA
DOCA和BlueField DPU通过一个全面、开放的开发平台,共同提供突破性的网络、安全和存储性能。 在本自学课程中,学员将学习DOCA作为BlueField DPU上加速数据中心计算平台的基本概念。 完成培训后,学员将掌握一套入门知识,使他们能够开始使用DOCA和DPU开发加速其数据中心服务的应用程序。 本培训包括五个模块: DOCA揭开神秘面纱 介绍BlueField DPU 建立BlueField-2 DPU DOCA开发环境 使用DOCA应用DPU加速 学习目标 了解DOCA和DPU的基本知识,通过以下方式开发加速数据中心服务的应用程序 : 将DOCA概念化为DPU上加速数据中心计算的平台 可视化DOCA框架范例 研究BlueField DPU规范和能力 探索不同配置下的示例DOCA应用程序 发现应用DPU加速计算的机会 地址: https
软件:NVIDIA NGC目录中提供了NVIDIA DOCA软件框架。 特别值得一提的是,DOCA是NVIDIA为DPU量身打造的软件框架,开发者可以利用DOCA创建高性能、软件定义、云原生、DPU加速的服务,以便对面向未来的数据中心基础设施进行编程。 比如,2022年初,NVIDIA就授权丽台(上海)信息科技有限公司和上海信弘智能科技有限公司两家合作伙伴设立DPU& DOCA卓越中心,为DOCA中国开发者提供在线实践的免费开发环境,实现编译、运行、测试 DOCA应用程序。 除了构建软硬一体的产品生态,在合作伙伴生态构建方面,NVIDIA同样下足了力气,除了提供NVIDIA DOCA软件框架供开发者学习使用,还积极与生态伙伴打造面向最终用户的解决方案。
其中docA和docB结构对称,分别输入到最终的RankCost层中。 ? 图3. RankCost层: RankCost层是排序网络RankNet的核心,度量docA相关性是否比docB好,给出预测值并和label比较。 每条输入样本为<label>,<docA, docB>的结构,以docA为例,输入input_dim的文档特征,依次变换成10维,1维特征,最终输入到RankCost层中,比较docA和docB在RankCost 注意,一般在Pairwise格式的数据中,label=1表示docA和查询的相关性好于docB,事实上label信息隐含在docA和docB组合pair中。 如果存在0 docA docB,交换顺序构造1 docB docA即可。 另外组合所有的pair会有训练数据冗余,因为可以从部分偏序关系恢复文档集上的全序关系。
IPDK与DOCA 从前文我们也可以看出,IPDK与DOCA非常相似。 DOCA(Data Center Infrastructure-on-a-Chip Architecture)是英伟达专为BlueField DPU打造的一个高度可编程的SDK开发平台工具,为开发者提供简单开发接口 英伟达的专家将DOCA类比为数据中心服务器领域的CUDA。 IPDK与DOCA相比,其独特之处在于它是一个面向DPU/IPU 等硬件进行抽象封装的公共开发套件。 但目前IPDK的生态建设还处于起步阶段,而DOCA在市场上已经有一定的用户量。 展 望 未来IPDK项目能否顺利发展,业界人士认为还要考虑到以下几点: 从技术角度,后续IPDK接口封装是否全面?
为了构建更为强大的DPU生态,英伟达专门推出了给 BlueField DPU 量身打造的软件开发平台—— NVIDIA DOCA 。 DOCA 的全称叫 Data Center Infrastructure On A Chip Architecture ,即“线上数据中心基础设施体系结构”。 在2022年5月, NVIDIA 发布了 DOCA 1.3 。 DOCA 1.3的架构 近日, NVIDIA 又发布了 DOCA 1.4 ,在不重启主机的情况下支持DPU固件升级,在 BlueField-2 DPU 25G & 100G w/BMC 产品上支持 32GB 借助 DOCA 1.4 版本,开发者可以更灵活、更简单、更快捷地在 BlueField DPU 上进行开发环境的搭载,从而迅速推出新产品。
下面介绍三家代表性的DPU厂商的开发框架: 1.NVIDIA DOCA (Data Center Infrastructure-on-a-Chip Architecture): DOCA的目标平台是NVIDIA DOCA生态系统最成熟、功能最全面、文档也十分丰富。 DOCA由如下部件组成: (1)运行时环境: 在 DPU 上运行的服务和库。 (2)驱动: 主机与 DPU 通信(支持 RDMA、PCIe)。 (4)服务: 如 DOCA Firefly(基于 P4 的高性能防火墙框架)。 (5)工具: 编译器、模拟器、调试器、管理工具。 DOCA 主要提供 C API,并有 Python 绑定。 DOCA Flow库提供高级抽象创建网络处理流水线。 DOCA利用 RDMA 实现极致低延迟高带宽的主机和DPU的通信,也支持 gRPC 用于控制管理面。 主机端并行应用(OpenMP/MPI)可通过 DOCA API 高效访问 DPU 加速服务。
算法代码示例 0.引入依赖 import numpy as np # 数值计算、矩阵运算、向量运算 import pandas as pd # 数值分析、科学计算 1.定义数据和预处理 # 定义文档 docA = 'The cat sat on my bed' docB = 'The dog sat on my knees' # 切割文档 bowA = docA.split(' ') bowB = docB.split
DPU拥抱Arm,大举发力服务器市场 以前我们有CPU、GPU,但显然英伟达认为这些都还不够,于是又推出了「BlueField-2 DPU」以及对应的软件生态架构DOCA(Data-Center-Infrastructure-On-A-Chip 英伟达企业计算负责人Manuvir Das将DOCA比作服务器领域的CUDA,此举显然是想在服务器领域复制CUDA的成功经验。 ? 数据处理器由 DOCA 提供支持,DOCA 是一种数据中心基础设施芯片架构,支持突破性的网络、存储和安全性能。 ? 老黄还透露了DPU为期三年的发展计划,其中包括 NVIDIA BlueField-2系列DPU和 NVIDIA DOCA 软件开发工具包,用于构建DPU加速数据中心基础设施服务的应用程序。
(IPDK:可编程基础设施时代的开源开发框架) 此外,英伟达DPU 的开源软件开发框架 DOCA也将被贡献给 OPI,以帮助开发人员创建可以跨 DPU、IPU 和其他硬件平台卸载、加速和隔离的应用。 DOCA(Data Center Infrastructure-on-a-Chip Architecture)是英伟达专为BlueField DPU打造的一个高度可编程的SDK开发平台工具,为开发者提供简单开发接口 随着DOCA也被贡献给OPI,这意味着目前市场上的两大DPU软件框架都走向开源,那么目前市场上DPU/IPU软件生态复杂、框架多、接口杂、开发难度高等问题是否会就此终结?
Ⅳ 开发生态 在开发生态上,专为助力BlueField合作生态系统而生的DOCA(集数据中心基础设施于芯片的架构)软件开发包,可以通过DOCA来实现软件定义网络、存储、安全,开发人员可以通过 DOCA直接调用到BlueField硬件的加速引擎。 DOCA是一个由库、内存管理、服务组成的框架,建立在一套成熟的驱动程序之上。部分库与开源项目有关,部分库是NVIDIA独有的。如同CUDA抽象GPU编程一样,DOCA则将DPU编程抽象到了更高的层次。 英伟达通过结合面向开发人员的DOCA软件开发工具包和用于开箱即用部署的DOCA管理软件来提供完整的解决方案。例如,ASAP²是基于硬件的对网络数据路径进行处理的协议,以二进制形式提供。 DOCA可不断实现向后兼容,NVIDIA的愿景是让DPU成为异构计算的第三条腿,补充CPU和GPU的功能,而DOCA对于在诸多应用中实现这一愿景至关重要。
NVIDIA® BlueField® DPU 软件基于 BlueField BSP(主板支持包)构建,其中包括操作系统和 DOCA 框架。 DOCA 是用于开发应用程序和基础设施服务的软件框架和 SDK。DOCA 包括运行时库;Arm 的 DOCA 运行时堆栈支持各种存储、网络和安全加速。 display/bluefielddpuosv450/bluefield+software+overviewDOCA文档: https://docs.nvidia.com/networking/dpu-doca
已知问题与迁移指南:平滑过渡新特性 CUDA 13.2 在带来强大功能的同时,也明确了部分已知问题及解决方案:在 SLES 16 系统上进行 NVLink 5 测试时,若安装 DOCA OFED 可能导致 NVIDIA Fabric Manager 启动失败,需卸载系统自带的 ib_core 模块并加载 DOCA OFED 提供的对应模块;部分启用 KASLR 的 Linux 内核可能出现 HMM 初始化失败