- 综合排序
- 最热优先
- 最新优先
- 来自专栏【腾讯云开发者】
全网首次揭秘：微秒级“复活”网络的HARP协议及其关键技术
HARP是什么 HARP是腾讯云完全自研的数据中心高性能传输协议，主要针对上述可靠性、软硬件设计、拥塞控制和可扩展性等难点进行攻克。 最后，为获得对大规模网络的高度扩展性，HARP采用了粒度可控的连接共享模式。通过把一条HARP连接复用来承接多条应用连接的流量，HARP可轻松支持大规模网络应用。 HARP关键技术点 HARP主要有以下四点的关键技术点： 1）软硬件的事务分离与能力结合 HARP采用软硬件分层的事务层和可靠传输层设计，以兼顾硬件可实现性、可靠传输的效率和消息事务的灵活性，如图所示 HARP发展展望 当前，腾讯云正不断地完善HARP的高性能通信库，包括使用Socket、IB Verbs、libfabric、UCX等通信接口接入HARP传输协议，以扩大HARP的生态。 此外，在虚拟化场景下，与AWS将EFA构建于SRD之上类似，HARP还将作为虚拟服务器间的高性能网络传输底座。随着HARP生态的不断完善，“HARP for Everything”的目标最终会实现。
3.7K91编辑于 2022-12-21 - 来自专栏云深知网络 可编程P4君
全网首次揭秘：不止“SRD”，鹅厂也在自研一款全新的网络协议
什么是HARP HARP是一个完全自研的数据中心高性能传输协议。在保证端到端数据报文可靠传输的同时，HARP可以为上层应用提供高可用、高可扩展、高性能的网络传输服务。 同时，HARP通过确定性多路径传输和微秒级路径切换，为上层应用提供高可用网络服务。 HARP在每个连接内采用多路径传输，每条路径有独立的拥塞探测能力。 HARP有什么用 HARP最初是面向存储与高性能计算的场景而设计， 目前也已经落地在腾讯的云硬盘（CBS）与弹性RDMA（EFI）业务中。 当前腾讯云的工程师还正在不断地完善其高性能通信库，包括使用Socket、IB Verbs、libfabric、UCX等通信接口接入HARP传输协议，从而不断扩大HARP的生态。 相信随着HARP生态的不断完善，“HARP for Everything”的目标将会真正实现。
1.4K31编辑于 2023-03-06 - 来自专栏腾讯云服务器团队的专栏
GPU 分布式 AI 训练加速引擎 TACO-Training 容器方案首发！
HARP 随着网络硬件技术的发展，网卡的速度从10G增长到100G甚至更高，并在数据中心大量部署使用。 在 VPC 的环境下，相比传统的内核协议栈，HARP 提供了以下的能力： 支持全链路内存零拷贝，HARP 协议栈提供特定的 buffer 给应用，使应用的数据经过 HARP 协议栈处理后由网卡直接进行收发 下图中左边是内核协议栈，右边是用户态协议栈 HARP。 /install/GPU/taco/harp_setup.sh | bash 执行成功会打印 ‘Set up HARP successfully’， 创建pod 参考如下：taco.yaml文件， apiVersion 使用 pod 需要配置 privileged 权限，否则 HARP 无法读取配置文件 需要给pod配置大页内存：hugepages-1Gi。
1.8K20发布于 2021-11-26 - 来自专栏腾讯云数据库(TencentDB)
云原生数据库的“网络革新”：存算分离时代，HARP协议如何突破RDMA瓶颈，构建高可靠传输底座
解决方案：HARP协议的创新突破助力冲出困境 腾讯云自研的HARP协议（Highly Available and Reliable Protocol，简称HARP）通过多路径冗余、共享连接架构与用户态协议栈的协同创新 HARP 协议 在目前公开的传输协议中，HARP是首个可同时提供高可用和高扩展性的高性能传输协议，其重新定义了数据库网络传输模式： 高可用性 采用独创的确定性多路径技术，在交换机故障场景下可实现接近100% HARP 协议架构解析 HARP 协议采用软件和硬件分层的架构 ，在事务层（软件），提供类Socket API，简化开发流程，支持灵活的业务逻辑处理；在可靠传输层（硬件），协议栈卸载至智能网卡，可实现高效数据处理 HARP在数据库场景中的全面优势 HARP测试说明 测试环境 网络：云服务器CVM和TDSQL-C MySQL 版集群网络类型均为私有网络（VPC）且在同一子网下。 测试集群规格：2核8GB。 高频点查优势突出：点查性能提升42%，表明HARP的低时延特性可有效支撑金融实时交易、社交Feed流等高并发查询场景。
49110编辑于 2025-06-17 - 来自专栏腾讯云原生团队
GPU 分布式 AI 训练加速引擎 TACO-Training 容器方案首发！
HARP 随着网络硬件技术的发展，网卡的速度从 10G 增长到 100G 甚至更高，并在数据中心大量部署使用。 在 VPC 的环境下，相比传统的内核协议栈，HARP 提供了以下的能力： 支持全链路内存零拷贝，HARP 协议栈提供特定的 buffer 给应用，使应用的数据经过 HARP 协议栈处理后由网卡直接进行收发 数据平面无锁设计，HARP 协议栈内部保证网络 session 的数据仅在创建该 session 的 CPU core 上，使用特定的协议栈实例处理。 /install/GPU/taco/harp_setup.sh | bash 执行成功会打印 ‘Set up HARP successfully’， 创建 pod 参考如下：taco.yaml 文件， 使用 pod 需要配置 privileged 权限，否则 HARP 无法读取配置文件 需要给 pod 配置大页内存：hugepages-1Gi。
1.7K20发布于 2021-11-26 - 来自专栏泛互云原生
TACO云原生最佳实践
图片本实践采用TACO Train AI中的HARP、LightCC优化技术，通过无侵入式方式，对Horovod分布式训练框架进行优化加速。 2台部署Horovod原生环境，2台部署TACO优化环境通过【容器服务】-【应用】，在目标TKE集群中，安装mpi-operator图片图片安装完毕后，可以在对应的命名空间中，查询到对应pod图片安装HARP 其中，弹性网卡数量等于GPU卡的数量图片通过Workbench登录虚拟机，执行以下脚本，初始化HARP环境curl -s -L http://mirrors.tencent.com/install/GPU taco-train的官方镜像ccr.ccs.tencentyun.com/qcloud/taco-train:ttf115-cu112-cvm-0.4.1因TACO插件式集成特性，从TACO镜像中移除HARP 另外，用户态自研网络协议栈 HARP，通过内存零拷贝、多实例隔离和数据平面无锁设计，降低内核协议栈开销，显著提升分布式训练过程中网络通信效率。
1.6K30编辑于 2022-12-02 - 来自专栏鹅厂网事
行稳致远：腾讯自研DPU商用情况与技术演进
图6 银杉改造支持Socket Direct架构 自研HARP多路径可靠传输协议 CBS前端处理性能有Scale up和Scale out两方面的需求： A.Scale up需求：随着单母机CPU CBS前端网络最初采用内核态TCP协议；目前已经升级到用户态TCP协议，单core性能提升2倍；接下来将采用自研Harp可靠传输协议取代TCP，Harp协议支持卸载到硬件，可实现3倍的性能提升。 Harp自研协议利用IDC多条路径延迟差小、乱序少的特点，通过多路径负载分担，增加突发带宽；同时通过与自研交换机配合的多路径拥塞控制算法，减少网络排队延迟和丢包。 采用自研Harp协议后，多路径避免单路径故障，故障链接流量会自动切换到其它路径；同时采用与交换机的路径算法HASH一致，保证切换成功率和收敛时间，最终可以实现上层业务零感知。 图7 CBS前端网络采用HARP自研多路径可靠传输协议 对下一代可编程虚拟化和云IO数据面加速的思考 智能网卡核心价值是虚拟化资源的管理，当前腾讯自研DPU已经把Hypervisor和QEMU的
3.6K10编辑于 2022-09-14 - 来自专栏SDNLAB
行稳致远：腾讯自研DPU商用情况与技术演进
图6 银杉改造支持Socket Direct架构 自研HARP多路径可靠传输协议 CBS前端处理性能有Scale up和Scale out两方面的需求： A.Scale up需求：随着单母机CPU Core CBS前端网络最初采用内核态TCP协议；目前已经升级到用户态TCP协议，单core性能提升2倍；接下来将采用自研Harp可靠传输协议取代TCP，Harp协议支持卸载到硬件，可实现3倍的性能提升。 Harp自研协议利用IDC多条路径延迟差小、乱序少的特点，通过多路径负载分担，增加突发带宽；同时通过与自研交换机配合的多路径拥塞控制算法，减少网络排队延迟和丢包。 采用自研Harp协议后，多路径避免单路径故障，故障链接流量会自动切换到其它路径；同时采用与交换机的路径算法HASH一致，保证切换成功率和收敛时间，最终可以实现上层业务零感知。 图7 CBS前端网络采用HARP自研多路径可靠传输协议 对下一代可编程虚拟化和云IO数据面加速的思考 智能网卡核心价值是虚拟化资源的管理，当前腾讯自研DPU已经把Hypervisor和QEMU的IO工作下沉到智能网卡上
4.1K41编辑于 2022-09-14 - 来自专栏腾讯技术工程官方号的专栏
腾讯游戏自研学术成果：基于图分割的网络表征学习初始化技术
国际人工智能学术会议AAAI 2018有个技术HARP也是为了解决网络表征学习初始化的问题。 HARP采用多层次的网络压缩方法，容易将本应属于两个不同分区的节点合并为一个节点，比如网络结构中桥（bridge）上的两个节点，因此也不能很好地反映出网络结构的整体特点。 具体来说，链路预测任务上相对于采用HARP技术初始化的方案提升了7.76%，在节点分类任务上则相对提升了8.74%。另外，在运行时间上，GPA也相对HARP减少了至少20%。
83620发布于 2019-10-18 聊聊搜索引擎的那些事儿 ｜ 又一款国产搜索引擎502了
本文创作背景音乐：Beautiful Relaxing Music: Norway's Nature, Violin Music, Flute Music, Piano Music, Harp Music www.dogedoge.com/ Beautiful Relaxing Music: Norway's Nature, Violin Music, Flute Music, Piano Music, Harp
81030发布于 2020-12-01- 来自专栏GEE数据专栏，GEE学习专栏，GEE错误集等专栏
Google Earth Engine ——数据全解析专辑（COPERNICUS/S5P/NRTI/L3_CO）实时的 CO 浓度高分辨率图像数据集
HARP_VERSION Int The version of the HARP tool used to grid the L2 data into an L3 product.
39700编辑于 2024-05-24 - 来自专栏人工智能前沿讲习
SFFAI分享 | 呼奋宇：深度层次化图卷积神经网络【附PPT与视频资料】
第二部分：介绍图神经网络相关的一些经典论文，包括：GCN、GraphSAGE、GAT、Diffpool和Harp 图卷积神经网络的示意图如图2所示。 Harp设计了一套coarsening（粗化）机制，先把图的规模逐层减小，然后在最小的图上通过Deepwalk等方法学出来每个超节点的表达，最后再逐层还原。 但Harp不是端到端的模型，它是每一层上单独使用deepwalk进行训练。即后面的神经网络对前面网络的表达优化没有影响，当前面网络学习的表达不好时，后面的网络也会因此变差，容易造成误差累积。
1.5K30发布于 2020-05-14 - 来自专栏腾讯专有云
从云计算到智算：TCE的渐进式基础架构演进
高性能VPC网络(HARP)：支撑HCC网络性能的关键是腾讯自研的HARP(High Available Reliable Protocol)协议。 HARP旨在构建高可用、高可扩展、高性能的统一网络传输服务。 2.
88810编辑于 2025-09-02 - 来自专栏GEE数据专栏，GEE学习专栏，GEE错误集等专栏
Google Earth Engine ——数据全解析专辑（COPERNICUS/S5P/OFFL/L3_HCHO）大气甲醛 (HCHO) 浓度的离线高分辨率数据集
HARP_VERSION Int The version of the HARP tool used to grid the L2 data into an L3 product.
27410编辑于 2024-02-02 - 来自专栏GEE数据专栏，GEE学习专栏，GEE错误集等专栏
Google Earth Engine ——数据全解析专辑（COPERNICUS/S5P/OFFL/L3_AER_AI和LH）气溶胶指数数据集
HARP_VERSION Int The version of the HARP tool used to grid the L2 data into an L3 product.
30110编辑于 2024-02-02 - 来自专栏GEE数据专栏，GEE学习专栏，GEE错误集等专栏
Google Earth Engine ——数据全解析专辑（COPERNICUS/S5P/NRTI/L3_CLOUD）云参数实时高分辨率数据集
HARP_VERSION Int The version of the HARP tool used to grid the L2 data into an L3 product.
35510编辑于 2024-02-02 - 来自专栏汪宇杰博客
译 | 介绍全新 Microsoft.Data.SqlClient
原文：Diego 翻译：Edi Wang 本文由 SqlClient 和 SQL 服务器工具上的项目经理 Vicky Harp 撰写。 本文由 SqlClient 和 SQL 服务器工具上的项目经理 Vicky Harp 撰写。
1.9K40发布于 2019-07-09 - 来自专栏GEE数据专栏，GEE学习专栏，GEE错误集等专栏
Google Earth Engine ——数据全解析专辑（COPERNICUS/S5P/NRTI/L3_NO2） NO2 浓度的离线高分辨率图像数据集
HARP_VERSION Int The version of the HARP tool used to grid the L2 data into an L3 product.
40810编辑于 2024-02-02 - 来自专栏GEE数据专栏，GEE学习专栏，GEE错误集等专栏
Google Earth Engine ——数据全解析专辑（COPERNICUS/S5P/NRTI/L3_O3） O3 浓度的实时高分辨率图像数据集
HARP_VERSION Int The version of the HARP tool used to grid the L2 data into an L3 product.
39810编辑于 2024-02-02 - 来自专栏GEE数据专栏，GEE学习专栏，GEE错误集等专栏
Google Earth Engine ——数据全解析专辑（COPERNICUS/S5P/NRTI/L3_AER_AI）紫外线气溶胶指数 (UVAI) 的近实时高分辨率数据集
HARP_VERSION Int The version of the HARP tool used to grid the L2 data into an L3 product.
30110编辑于 2024-02-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号