一、背景 随着网络技术的发展,数据中心已经成为提供IT网络服务、分布式并行计算等的基础架构。数据中心应用范围愈加广泛,应用需求不断增加,业务数据量达T/P级以上。 ◆ 网络:服务器可以和数据中心的其他服务器进行通信。 二、树形数据中心网络架构 在传统数据中心中使用最多的为树形架构,如图1所示。 传统数据中心网络架构 2.2 树形架构存在的问题 由于单个交换机的寻址能力有限,数据中心为了扩展服务,增加更多交换机,因此在二层交换机的基础上需要三层路由器。 三、 VL2数据中心网络架构 VL2数据中心网络架构由微软提出,在观察了多个实际数据中心中的流量后,总结数据中心流量特点,设计了一个虚拟2层的网络架构。 使用CLOS架构,新的数据中心内部寻址方式以及VLB、ECMP等算法实现的具有灵活性,高性能,高利用率的数据中心网络架构。
2019年 华为全联接大会 人民邮电出版社与华为宣布 将推出华为数据通信系列丛书 并纳入“国之重器出版工程”系列图书 春天花儿会开 - 云数据中心网络架构与技术 2021年世界读书日 最后一本丛书终于现身 金融数据中心网络架构与技术 瞄准的是国产化大潮下的金融行业 作者团队 依然采取业务线+技术线 陈乐也是云数据中心网络的作者 全书除了 通用技术的介绍 探讨AI Fabric/IDN/MESH2 三种新技术如何应用于金融数据中心 友商新华三 早几年的金融探索 也是如火如荼并拿下标杆客户 但是市场套路总是落后于华为一步 对金融无感的同学 继续推荐阅读华为的基础丛书 陈乐同学贡献的数据中心网络合集 幸有读书可慰藉 - 此IP新技术非彼New IP 红宝书的期刊部分 在2019年还有不少更新 数据中心红宝书2019年更新了! 但是也许 忙于新书撰写 2020年只更新了智能运维 自动驾驶网络等三个APP相关方向 天子重英豪,文章教尔曹。 万般皆下品,唯有读书高。
尽管网络覆盖的概念并不新鲜,但在过去几年中,人们对网络覆盖的兴趣有所增加,因为它们有可能满足其中的一些要求。随着专门为数据中心构建的新封装帧格式的引入,人们对覆盖网络的兴趣也增加了。 重叠寻址:数据中心中使用的大多数重叠技术允许虚拟网络ID具有唯一的作用域和标识单个专用网络。此作用域允许租户之间的MAC和IP地址可能重叠。覆盖封装还允许底层基础设施地址空间与租户地址空间分开管理。 本文档回顾了Cisco在最近的过去提供的几种spine和leaf架构设计,以及当前的设计,以及Cisco希望在不久的将来提供的设计,以满足现代虚拟化数据中心的结构要求: Cisco®FabricPath 思科大规模可扩展数据中心(MSDC)第3层脊椎和叶网络 每个部分概述了撰写本文时最重要的技术组件(封装;终端主机检测和分发;广播、未知单播和多播通信转发;底层和覆盖控制平面、多租户支持等)、通用设计和设计注意事项 (第3层网关等)。
导读:如果把数据中心比作一个“人”,则服务器和存储设备构成了数据中心的“器官”,而网络(交换机,路由器,防火墙)就是这个数据中心的“神经脉络”。那本节就针对数据中心的网络架构和一般设计的套路来说了。 在目前的数据中心网络架构中,要考虑到不同等保之间的流量控制,又要考虑到在设计路由的时候的简便和快捷,目前数据中心的防火墙几乎都会采用旁路的方式来部署,再配合汇聚交换机上的VRF来控制流量。 03数据中心常用网络架构 A.扁平化组网 对于功能单一,服务器数量小于300台的小型数据中心来说,通常情况下都会采用两层式的扁平化组网。 第一种就是VRRP+MSTP的结构,如下图所示: 相比起第一种非常传统的MSTP+VRRP的架构,第二种“胖树”结构,则是当前数据中心扁平化组网的常用结构。 B.三层组网架构 对于大型数据中心,功能多样,且要进行功能分区的场合,就会采用标准的三层架构。
VXLAN是众多可用的网络虚拟化覆盖技术之一,它具有许多优点。它是一个工业标准协议,使用底层IP网络。它将第2层分段扩展到第3层基础设施上,以构建第2层覆盖逻辑网络。 该组的多播分发树是根据参与vtep的位置通过传输网络构建的。在底层网络中启用多播功能的要求对一些组织提出了挑战,因为它们不希望在其数据中心或广域网中启用多播。 第3层功能位于第2层网络的顶部。常见的第3层设计提供集中路由:即第3层路由功能集中在特定交换机(脊椎交换机或边界叶交换机)上。 本文:http://jiagoushi.pro/node/1035 讨论:请加入知识星球【首席架构师圈】或者小号【intelligenttimes】 微信公众号 关注微信公众号【首席架构师智库】 微信小号 点击加入知识星球【首席架构师圈】 微信圈子 志趣相投的同好交流。 点击加入微信圈子【首席架构师圈】 喜马拉雅 路上或者车上了解最新黑科技资讯,架构心得。
该流量需要由FabricPath交换机(默认网关和边界交换机)上启用的第3层功能路由。 在FabricPath网络中放置第3层函数需要仔细设计。 如果spine和leaf网络有四个以上的spine交换机,则第2层和第3层边界需要分布在spine交换机上。 第三层功能位于第二层网络的顶部。常见的第3层设计使用集中路由:即第3层路由功能集中在特定交换机(脊椎交换机或边界叶交换机)上。FabricPath网络支持多达四个用于内部VLAN路由的选播网关。 】或者加小号【intelligenttimes】 微信公众号 关注微信公众号【首席架构师智库】 微信小号 希望加入的群:架构,云计算,大数据,数据科学,物联网,人工智能,安全,全栈开发,DevOps, 点击加入知识星球【首席架构师圈】 微信圈子 志趣相投的同好交流。 点击加入微信圈子【首席架构师圈】 喜马拉雅 路上或者车上了解最新黑科技资讯,架构心得。
随着传统IDC向云数据中心转型,数据中心网络架构也在不断演进。 在传统的大型数据中心,采用了层次化模型设计的三层网络。 核心交换机为进出数据中心的包提供高速的转发,为多个汇聚层提供连接性,核心交换机通常为整个网络提供一个弹性的L3路由网络。 通常情况下,汇聚交换机是L2和L3网络的边界,汇聚交换机以下的是L2网络,以上是L3网络。每组汇聚交换机管理一个POD,每个POD内都是独立的VLAN网络。 传统网络通常设置1:10到1:3的带宽超额比,以提高设备利用率。随着超额订阅率,每次流量通过节点时性能都会显着下降。此外,第 3 层网络上的 xSTP 技术加剧了这种恶化。 提出了现在称之为 Clos 的网络架构。 一个简单的两层Clos网络 Spine-Leaf体系架构是由Spine和Leaf这两个交换层组成的数据中心网络拓扑结构。
spine层是网络的主干,负责互连所有的leaf交换机。每个叶子开关都连接到织物中的每个脊椎开关。该路径是随机选择的,使得业务负载在顶层交换机之间均匀分布。 如果其中一个顶级交换机发生故障,它只会略微降低整个数据中心的性能。 如果发生链路的超额订阅(即,如果一次生成的流量超过了活动链路上可聚合的流量),则扩展容量的过程是简单的。 如果设备端口容量成为一个问题,可以通过将新的叶子交换机连接到每个spine交换机并将网络配置添加到交换机来添加它。易扩展性优化了IT部门扩展网络的过程。 】或者加微信小号【intelligenttimes】 微信公众号 关注微信公众号【首席架构师智库】 微信小号 希望加入的群:架构,云计算,大数据,数据科学,物联网,人工智能,安全,全栈开发,DevOps 点击加入知识星球【首席架构师圈】 微信圈子 志趣相投的同好交流。 点击加入微信圈子【首席架构师圈】 喜马拉雅 路上或者车上了解最新黑科技资讯,架构心得。
如何实现不同租户和应用间的地址空间和数据流量的隔离是实现数据中心网络虚拟化首先需要解决的几个问题之一。所谓地址空间的隔离是指不同租户和应用之间的网络(ip)地址之间不会产生相互干扰。 具体来说,VXLAN采用MAC-in-UDP的封装方式对二层网络进行扩展。目前在数据中心内应用VXLAN技术最广泛的场景即是实现虚拟机在三层网络范围内的自由迁移。 使用VXLAN之后,原来局限于同数据中心、同物理二层网、同VLAN的虚拟机迁移可以不再受这些限制,可以按需扩展到虚拟二层网络上的任何地方。 NVGRE最初由微软公司提出,其目的是为了实现数据中心的多租户虚拟二层网络,其实现方式是将以太网帧封装在GRE头内并在三层网络上传输(MAC-in-IP)[3]。 采用NVGRE封装的数据包头格式 4.STT STT(Stateless Transport Tunneling),无状态传输隧道技术,是在数据中心2层/3层物理网络上创建2层虚拟网络的又一种Overlay
由于最近Sunnyvale的restack,我们组从MP3搬到MP6。 周末去办公室收拾东西的时候,路过广场前面的Data Center大箱子,隔着玻璃瞧了一眼里面的结构。 传统的网络架构称为接入-汇聚-核心架构 access-agg-core network architecture 起码在我14年考CCIE的时候,这种方案在业内还相当普遍。 (在当年)硬件转发也比查路由来的快 3.可以构建不同于IP的企业专用网络协议 然而一旦网络规模变大,问题也就来了。网桥自学习会有两个问题:广播风暴和泛洪。 但是在云计算场景下,即使打了一层层的补丁 access-agg-core还是无法支撑整个数据中心。一方面是弹性计算带来的接入终端大量增加,虚拟机和容器可能在任何时候加入网络 引起大规模拓扑变化。 Clos网络拓扑 准确说,现在云厂商使用的是Clos拓扑中的leaf-spine架构。
笔者最近在学华为数据中心认证课程,之前也有拜读过《银行信息系统架构》和《商业银行私有云设计与实现》系列丛书, 对于现代云数据中心架构有了一些自己的想法,每个人在这个世界上都在不断探索,学习的过程就是在不断刷新自己的认知域 现在还有一个新的概念叫SD(软件驱动)CD(分布式云)DC(数据中心),有数据中心灾备、2地3中心、多活等等,所以也有分布式数据中心概念的提出。 云数据中心的技术架构分为5层: (1)硬件基础设施层:如服务器、网络、存储等各类硬件设施。 (3)云资源层:把3类资源通过云OS整合起来,云OS会做资源的进一步池化即把多个(如计算、存储、网络)、多种(如华为虚拟化资源、VMware虚拟化资源该情形叫异构虚拟化资源池)虚拟化的资源池进一步整合次统一纳管 以上是我对云数据中心架构的认识与理解,后期会不定期更新热门技术文章,欢迎留言互动。
该技术为VXLAN覆盖网络中的第2层和第3层转发提供了控制平面和数据平面分离以及统一的控制平面。 底层网络 VXLAN MP-BGP EVPN spine and leaf架构使用第3层IP作为底层网络。 覆盖网络 VXLAN MP-BGP EVPN spine and leaf架构使用MP-BGP EVPN作为VXLAN覆盖网络的控制平面。 架构使用MP-BGP EVPN作为VXLAN的控制平面。 它为VXLAN覆盖网络中的第2层和第3层转发提供控制平面和数据平面分离以及统一的控制平面。
在NSDI2022会议上,谷歌发布了数据中心分布式交换架构Aquila。 Aquila是一种实验性的数据中心网络架构,将超低延迟作为核心设计目标,同时也支持传统的数据中心业务。 2015 年的Jupiter数据中心Underlay 网络。 2017 年的Espresso边缘路由软件堆栈。 2018 年的Andromeda虚拟网络堆栈。 Aquila是一种低延迟的数据中心架构,它使用自定义交换机和接口逻辑以及一个称为 GNet 的自定义协议。 Aquila 数据中心架构有很多层,目前尚处于原型阶段,还不清楚它将如何与英特尔与谷歌共同设计的“Mount Evans”DPU进行交互和交互。 这种融合网络架构的核心在于谷歌在其数据中心规模的 Clos 网络中嵌套了一个非常快速的Dragonfly 网络,该网络基于leaf/spine拓扑,不是all-to-all网络,能够以一种经济高效且可扩展的方式将所有东西互连
该黑皮书聚焦 AI网络架构测试方法,指出 LLM 训练中网络架构对数据传输效率至关重要,需具备数据移动、可扩展性等能力。 ,强调测试对优化 AI 数据中心基础设施的重要性。 一、AI 网络架构测试背景与核心能力 LLM 训练挑战:大规模 GPU 节点间数据传输易成瓶颈,网络架构需支持高效数据移动、低延迟、可扩展性及容错性,确保训练效率。 LLM 训练中网络架构的核心瓶颈是大规模 GPU 节点间的大象流(大流量低熵)传输,易导致链路拥塞和长尾延迟,影响训练效率。 拓扑设计: Spine-Leaf 架构:通过 ECMP 实现多路径负载均衡,ToR 交换机连接 NPU 主机模拟真实数据中心。
系列:Cisco数据中心Spine and Leaf架构:设计概述白皮书 数据中心是现代软件技术的基础,在企业拓展能力方面起着至关重要的作用。 传统的数据中心使用三层体系结构,服务器根据位置划分为pod,如图1所示。 ? 图1. 传统的三层数据中心设计 该架构由核心路由器、聚合路由器(有时称为分发路由器)和访问交换机组成。 基于vPC的数据中心设计 自2003年以来,随着虚拟技术的引入,在三层数据中心设计中,在第2层的pod中隔离的计算、网络和存储资源可以被汇集起来。 这项革命性的技术创造了对更大的第2层域的需求,从访问层到核心层,如图3所示。 ? 图3. 为了克服这些限制,开发了一种新的数据中心设计,称为基于Clos网络的脊椎和叶子架构。这种架构已经被证明能够提供高带宽、低延迟、无阻塞的服务器到服务器连接。
后面会介绍对于一个基于网络的应用来说,哪些架构属性是值得关注的。 2 基于网络应用的架构 软件架构可以存在于软件系统的多个层次之上。而REST则是聚焦于软件架构的最高层次的抽象,即跨越网络的运行环境,这里的组件是通过网络通信来实现组件的交互的。 基于网络 VS 分布式:基于网络的架构和软件架构的区别在于,组件之间的通信仅限于消息传递或者消息传递的等价物。 3 基于网络应用的关键架构属性 REST关注的是基于网络的应用软件的架构设计,这也正是Web的诉求,Web是一个互联网规模的分布式超媒体系统,互联网规模意味着无法控制的可伸缩性和组件的独立部署。 这也就是说,对于一个基于网络的应用来说,把对网络的使用降低到最少,才是最高效的架构风格。 3.2 可伸缩性 可伸缩性是可以通过配置来改变一个架构中的大量的组件之间的交互的能力。
数据中心架构的类型 通常,有四种数据中心架构:网状网络、三层或多层模型、网状交付点 (PoD) 和超级主干网。 网状网络 网状网络架构是一种数据中心架构,通常被视为网络结构,描述了组件通过互连交换机相互传递数据的网络拓扑结构,凭借可预测的容量和更低的延迟,它可以支持常见的云服务。 数据中心架构主要由三部分组成:数据中心网络、安全和计算架构。 除了这三种之外,还有一些其他的数据中心架构,比如数据中心物理架构和数据中心信息架构。下面将主要解读它的三个典型组成。 数据中心网络架构 数据中心网络(DCN)是一种将所有数据中心资源互连在一起的网络设备的排列方式,一直是互联网公司和大型云计算公司的重点研究领域。 数据中心架构演进 随着技术的不断发展,数据中心架构也在不断演进,大多数现代数据中心架构已经从本地物理服务器发展为支持多个私有云和公共云中的网络、应用程序和工作负载的虚拟化基础架构。
Proxy和Google的各种架构,只需增加服务器数就可以增加处理能力和容量。 在数据库非共享集群中,每个节点都有独立的磁盘存储系统和内存系统,业务数据根据数据库模型和应用特点划分到各个节点上,每台数据节点通过专用网络或者商业通用网络互相连接,彼此协同计算,作为整体提供数据 库服务 大规模并行处理(MPP)架构 例子 Greenplum是一种基于PostgreSQL的分布式数据库。 其采用shared nothing架构(MPP),主机,操作系统,内存,存储都是自我控制的,不存在共享。也就是每个节点都是一个单独的数据库。节点之间的信息交互是通过节点互联网络实现。 ,遇到后整个engine的性能下降到该straggler的能力,所谓木桶的短板,这也是为什么MPP架构不适合异构的机器,要求各节点配置一样。
资源共享 为了实现资源共享,网络必须虚拟化并安全隔离。网络的技术本质是“编址+路由”, Overlay 的编址是在数据报文编址上叠加一层租户标识,现在通常使用VxLan技术。 数据中心网络 1. 传统的三层网络架构 三层网络架构起源于园区网络,传统的大型数据中心网络沿用了它。 在传统三层架构中,汇聚交换机往往会承担网关的作用,负责收集一个PoD( Point of Delivery, 分发点)内的理由。 传统的三层网络架构的缺陷 - 无法支持大二层网络构建 - 无法支持流量的无阻塞转发(特别是东西流量) 3 数据中心的流量分类 南北向流量:数据中心之外的客户端与数据中心内部服务器之间的流量,或者数据中心内部服务器访问外部网络的流量 东西向流量:数据中心内部服务器之间的流量 跨数据中心流量:不同数据中心之间的流量 4 Clos 架构 clos 架构是贝尔实验室(Charles Clos)博士在《无阻塞交换网络研究》论文中提出的。
数据中心架构 目前数据中心流行的是 CLOS 网络架构:Spine+Leaf 网络架构,如下图所示: Spine-Leaf架构 CLOS 网络通过等价多路径实现无阻塞性和弹性,交换机之间采用三级网络使其具有可扩展 除了支持 Overlay 层面技术之外,Spine+Leaf 网络架构的另一个好处就是,它提供了更为可靠的组网连接,因为 Spine层面与 Leaf 层面是全交叉连接,任一层中的单交换机故障都不会影响整个网络结构 流量模型 但由于CLOS网络架构中的many-to-one流量模型和all-to-all 流量模型,数据中心中无法避免的常常出现 Incast 现象,这是造成数据中心网络丢包的主要原因。 leaf1、leaf2、leaf3、leaf4 和spine1、spine2、spine3形成一个无阻塞的 CLOS 网络。 网络拥塞从根源上可以分为两类,一类是对网络或接收端处理能力过度订阅导致的 Incast 型拥塞,可产生在如 many-to-one 流量模型的数据中心网络,其根因在于多个发送端往同一个接收端同时发送报文产生了多打