导语:微模块技术是数据中心行业未来的重要发展方向,此文重在梳理微模块尤其是颗粒度方面的概念定义,望君品读。 腾讯微模块技术在标准化、机房能效、建设速度、资源储备及运营标准化等方面均成绩斐然。 本文旨在简单梳理微模块尤其是颗粒度方面的概念定义,望能与诸君讨论优化,学习业界优秀设计以得较优模型,后期巩固版本,开辟一条“有中国特色”的微模块发展之路。 微模块数据中心的概念定义是什么? 微模块外部视图 微模块内部视图 考虑到中国城市土地昂贵,机房多为多层建筑,且柱网密集,层高不足,整体搬运空间很小,城市地区能满足集装箱部署的场地不多,而偏远地区因电力、光纤、道路、市政管网等配套条件所限 微模块内部视图 我们认为微模块数据中心不能简单地和冷(热)通道封闭等传统技术混为一谈。 物理接口方面,微模块和外界的接口就是供电、空调、以及光线铜缆,和建筑的安装泊位。类似于不同类型的服务器,微模块的版本也可以分别设计成计算或者存储等类型。
这个是重中之重,大致有:1:建筑结构建模2:使用Editable Poly创建精确的墙体与天花板结构3:通过Boolean运算制作通风管道穿墙孔洞4:用Array阵列工具快速生成防静电地板矩阵5:设备模型构建6: 与后期处理与交付(耗时占比10%)在Photoshop中完成最终润色:1:基础校色2:使用Camera Raw滤镜调整整体曝光3:通道混合器增强金属质感4:特效叠加5:添加Lens Flare模拟设备指示灯6:
国标GB50174 对数据中心的封闭冷通道长度的要求:6m以内允许单边开门,6m以上则需两侧开门,因此需预留微模块两头的开门空间。再考虑运货斜坡及转弯半径,建议单边门前的通道宽度至少有1.5m。 如果微模块尺寸小于6 米,虽允许单边开门,对柱网的挑战小,但可摆放的机柜数量受限,因支撑的电源、空调部分的高成本显得不够经济。 如何解决这些问题? IT及基础设施深度定制的经典案例有: 1、google的6 个IT 机柜和置顶空调构成的hot-hut 微模块,采用的是定制的带电池服务器就没装额外UPS。 ? 图7(a)google 微模块 2、一个OCC带6个IT机柜的yahoo微模块,采用了定制的OCC置顶空调及集中UPS供电等。 ? 图8(b)openrack 的V2 示意图 以上案例颗粒度多以6、12、18、24 等为基本单元,模型的梳理类似本文。
有很多朋友私下问我,这个机房微模块效果图怎么才能制作的又快又好?这个今天抽出时间,专门写一下这个过程。大致分为六步:前期图纸整理部分,建模部分,材质部分,灯光部分及渲染,后期。 专注机房弱电微模块效果图设计多年。 西安六方体原创文章,请勿转发。
由一级路由命中访问 2 共享基座上下文,可在一级路由下独立注册自己的子路由 3 应用本地启动自带基座,发布后基座运行时自动移除 4 应用间可相互共享组件,享受动态更新优势 5 所有应用均可访问更底层的远程公告库, 6
这是因为在实际应用中,人们通过对微模块及其功能单元的容量、尺寸、接口及主要技术方向进行标准化定义,使微模块具备了工业产品化、标准化的特点,每个微模块的功能单元均可以在工厂预制,在数据中心现场拼装成微模块 ,提出了“微模块数据中心”的概念,微模块数据中心的雏形就此应运而生。 微型模块化数据中心 推动微模块标准化工作发展 随着微模块数据中心开始批量生产、运输、建设、使用,随之而来的问题就是如何推动微模块的标准化工作。 随着ODCC对微模块标准化的深入,行业内相关供应商均纷纷加入制定工作,微模块数据中心建设思路的优势开始体现,微模块建设进入了蓬勃发展期。 负责腾讯微模块的设计及实施工作,实现超过上百套微模块的投产运行。
同理,汕尾数据中心园区有6栋机房楼,已启用一栋。总容量15万台服务器。 2 建筑单体 每栋机房楼占地6000平方米,两层结构,底层是9米高的机电层,上层是6米高的机房层(放服务器)。 机电层采用二、八、二十的配比,具体说是两路市电入口,都分到8个高低压变配电柜,其中2个变压器供冷机等机电基础设施,另外6个供楼上的IT微模块,都是两两互备,每组IT变压器带20个微模块,约300个IT机柜 3 机房模块 机房层有6个机房模块,每个包括5组微模块,每组有18个机柜和12个机柜的微模块各一,所以总共是900个机柜:(18+12)×5×6 = 900 每个机柜的供电容量为6~8千瓦(kW),最大可支持到 施工中的机房一角,可以清晰的看到微模块的安装位置 参观伴以解读,我对从机柜、IT微模块、机房模块、建筑单体到园区的逐层设计有了直观的认识,也是头一次参观尚未完工的数据中心而不感觉混乱无序。
微模块由机柜、配电单元、HVDC、电池柜、列间空调、管控柜、密闭冷通道等组件构成,每一个微模块都是一个独立完整的机房。 ? 水的体积比热容为4.2*10^6J/m³·K,空气的体积比热容为1230 J/m³·K。意味着单位体积的水温度上升一度,吸收的热量是单位体积空气的3414倍! 图6 列间空调气流组织 优秀架构+精细化运营造就低PUE 根据制冷原理可知,降低冷凝温度,提高蒸发温度可以显著提高制冷效率。微模块采用冷冻水系统,冷却水温度可以趋近于室外湿球温度。 腾讯微模块就是这样一款爆品。经过8年应用实践,微模块机房已成为腾讯数据中心的主力军,机架数量占比超过六成。 随着产品技术的不断标准化和采购需求量的不断上升,微模块产品相关配套的产业链已非常成熟,单个微模块CAPEX比早期下降60%以上。 腾讯微模块技术具有良好的节能性,大大降低OPEX。
近年来,“微模块化”成为数据中心领域炙手可热的话题。 无独有偶,在2022第十届数据中心标准峰会上,“微模块化”同样成为业界讨论的热点,新华三等厂商在微模块数据中心领域的动作亦受到了极大关注。 此时,微模块数据中心脱颖而出,标志着数据中心技术、产品乃至理念迎来一次质的飞跃。为何“微模块”数据中心会被业界视为“真命天子”? 02 微模块为何 需要四智? 在传统28柜*3KW的机房空间,换成新华三模块化产品,可以实现42柜*6kw,大幅增加了数据中心的算力密度,对于部署像AI等计算资源密集型应用极为有利。
后来在宝安二期我们也尝试做一些局部的优化,比如把单机柜功率密度提高到6KW,同时封闭冷通道,PUE逐步有了些下降,做到1.58。 ? 在经过实验局和小批量试点之后,2013年开始全局推广,首先腾讯在蛇口跟深圳电信首次以微模块的方式合作建设,同时采用了整机柜技术;之后在深圳坪山新区跟联通也是以微模块的方式合作,有60套微模块的规模;再后来是腾讯天津数据中心二期全部采用微模块技术 微模块的部署非常快。 其实微模块就是把机房的颗粒度缩小到一个微模块里面,那在每个微模块里面很容易实现整体上架,整体退役,当采用同一个批次的服务器,升级改造做起来就相对简单,只需要把这个微模块断电就可以了,断电和其他微模块物理隔离开来 在微模块方式下,微模块本身就可以作为一个容灾的基本单位,实际上在同一个园区里面,可以跨微模块去做这种分布,会更加的灵活和节省投资。
image.png 前面介绍了switch通信数据中心的总体设计思路,下面再介绍其数据中心内核心的IT微模块,根据图6所示的IT微模块示意及相关专利介绍称,其每个微模块由18个机柜构成,两侧不同供电路有两个列头柜和一个综合配线柜 switch通信微模块热通道封闭,机柜顶部采用了模块化的封闭通道组件和标准化的强弱电桥架。根据微模块机柜数及前面机柜平均功率推测,每个微模块总功率平均约为160-180KW。 图6 SuperNAP 数据中心的微模块 switch通信在微模块的结构件方面也煞费苦心,即便是机柜顶部封闭通道的建设,也采用了工厂预制的模块化标准组件400、转角组件450、标识为500的线槽支撑件以及标识为 图8 SuperNAP 数据中心内不同颜色UPS 图9是供电线路图示意,每个IT微模块来自两个不同的PDU供电,三套PDU总共给12个微模块来供电,实现UPS的DELTA型2N供电架构,这样在保证了2N 同样的,在室外侧switch通信则定制了其模块化AHU散热系统,采用的6种运行模式能满足各种季节和不同负载的散热需求。 图15所示的模块化AHU下部的冷凝器等设计成可以通过卡车等运输到数据中心现场。
微模块就是一个微型数据中心 微模块解决方案是腾讯第三代数据中心TMDC的核心。 按照腾讯的设计,每个微模块都包含有IT系统、配电系统、空调系统、消防系统和监控系统等,可以简单地认为微模块就是一个微型数据中心。 这样的设计好处显而易见。 当数据中心“退役”时,工作人员还可以很方便地将那些还可用的微模块拆卸下来,在其他数据中心组装后继续使用。 在腾讯天津数据中心,笔者参观了一个典型的微模块机房。 这个机房由12个微模块组成,每个微模块占地仅20多平方米,却有12个服务器机架,每个机架上密密麻麻地排列着80台服务器(1U上有两台服务器)。 也就是说,在一个很小的空间内,每个微模块竟然容纳了960台服务器。 每个微模块的外部都挂着一块液晶屏幕,运维人员可清晰地查询微模块的各种运行状况。
image.png 到达数据中心的核心区域——服务器机房,终于看到重点展示对象:微模块。每个微模块都包含自身的配电系统、空调系统、消防系统和监控系统等,可以简单认为微模块就是一个微型数据中心。 因此,微模块和整机柜解决了传统数据中心建设的周期冗长、配合复杂的问题,可快速、灵活地部署,这个特点使微模块更容易安排分期建设,保护投资。 这也是微模块数据中心之所以获得大型互联网企业的青睐的原因之一。 “如果把服务器看成标准砖头,机柜看成厨房、阳台、洗手间,微模块就是小户型套房。通过微模块,我们可以不断复制堆叠,形成机房楼,乃至整个园区。”闫昆说道。 物理上的集成仅仅是将各设备的布局更加优化,只有通过集中的智能管理平台将微模块内的IT、配电、制冷、监控等所有设备有机的整合起来,使其智能的协同工作,才能发挥微模块这种部署形式的真正价值。
对于微模块,BAT做的比较领先,中兴、华为这些公司更加推动了这个行业的普及。以上三种数据中心实际上也是腾讯最近十多年的一个演进的历程。 我们刚才开始使用微模块,行业里面不太清楚微模块是什么,可是到现在据说一年微模块的出货量达到一两千套,那么微模块是怎么实现的,简单来说就是将过去传统的机柜,封闭通道,电池,空调,在现场快速拼装,形成一个标准的统一产品 ,交互给客户,可以看到微模块已经实现了部分的数据中心的产品化的工作,可是同时我们也看到,微模块还只是数据中心里面一小部分,还有大量基础设施,仍然以传统的方式进行施工作业,这个时候我们希望通过T-Block 解决微模块以外的工作。 这是我们采集到今年1月份到6月份贵阳的气象数据,小于12摄氏度占到67%,对应PUE小于等于1.125。
TMDC的解决方案,简单一句话就是把冷却系统离散到微模块中,让每一个微模块在内部自循环,“躲进小楼成一统”。 服务器部署的基本单位放大到一个微模块。同一个批次的服务器,可以很容易让他们部署在同一个微模块内,当五年后退役,把微模块断电隔离出来进行改造就行了。 小明又来了。 数据中心经理重点看好基础运营和微模块这两个供应商就行了。 此外,当数据中心运营的基本物理单元由机架扩大到微模块后,以前需要通过跨机房实现的业务分布冗余,现在跨微模块就能很好地解决可用性冗余的问题。 当一个微模块出现故障,影响范围完全可以隔离在该微模块内,不影响其他运行中的微模块。 当然,TMDC带来的运营模式的变化还包括数据中心监管控系统的革新。这里不再深入了。 还是小明。 可以看到,TMDC2.0和传统解决方案相比,有20%以上的节能,和采用UPS供电的微模块相比,也有6%的差异。 ?
腾讯作为中国互联网的著名企业,自2001年开始便在全国及世界各地部署自己的数据中心,在数据中心领域有着丰富的系统经验,并在2011年6月宣布开放战略以来,积极建立开放平台推出各类云服务。 在1号楼的三层,我们参观了腾讯第三代数据中心的供配电系统和微模块。 具有腾讯自主知识产权和专利的微模块数据中心给前来参观的嘉宾极大的视觉震撼。这是一个TMDC的典型机房,由12个微模块组成12个微型数据中心。 微模块则是在内部进行冷循环,不同功耗的服务器可设立高密度微模块和低密度微模块,把同类型的服务器集中在一个模块内,或者不同机型的服务器热负荷集中在微模块里的微环境中解决,电源和空调模块支持热插拔可以灵活调配 在监控方面,采用腾讯自主研发的微模块智能监控系统,使不同厂家不同品牌的机柜监控面板界面内容标准化、统一化,并且值班巡检支持PAD电子化巡检。
远程模块可以作为微模块(模块级别的微前端),是页面级别的微前端的一种补充,因为页面级别的微前端,如 qiankun、无界等,它们的粒度太粗了,有时候需要更细粒度的微前端,例如:组件、函数级别的。 这种场景,就可以使用远程模块,来实现微模块的效果。 模块型微前端相较于微容器宏观态的组合应用方式,微模块则可以形容为微观态的组合方式,它的粒度更小,小到可以是一个函数,一个基础的组件,对于开发者来说,引入微模块和引入一个普通的js包没有任何区别,他们在使用上也并无任何区别 是它和微容器最大差异之一,微模块的使用方式回归到了js语法本身。 这种场景,就可以使用远程模块,来实现微模块的效果。方案微的定义微前端的定义技术实现使用场景MF模块由多个互相独立的模块聚合而成的应用模块本质上是JS代码片段,这种代码片段一般称为chunk。
“从大到小”的原则,即从园区、建筑单体、机房模块、IT微模块到机架逐层实施。 “如果把服务器看成标准砖头,机柜看成厨房/阳台/洗手间,微模块就是小户型套房。通过微模块,我们可以不断复制堆叠,形成机房楼,乃至整个园区。” 腾讯微模块数据中心(TMDC),可以看到近处的两个用的都是天蝎整机柜 腾讯对微模块数据中心的定义是,以若干机架为基本单位,包含制冷模块、供配电模块以及网络、布线、监控在内的独立的运行单元。 微模块数据中心具有模块化数据中心标准化、部署灵活快速的优点,对使用第三方数据中心格外有帮助。 腾讯力推微模块还有自身业务的考虑,因为腾讯产品很多(大家懂的),如负责天津数据中心的腾讯华北数据中心经理闫昆所说,一个业务上线初期很难估计其使用量,微模块颗粒度相对较细,小量部署也更具经济性。 ?
2017年中国信通院云大所依托ODCC平台牵头成立“冰河”项目,旨在研究液冷相关技术在数据中心的应用,腾讯作为IDC行业引领者积极参与、深度合作,共同完成了《数据中心液冷服务器系统总体技术要求和测试方法》等6项团体标准 微模块数据中心测试规范 由腾讯牵头,与中国信通院云大所等企事业单位联合申报的《微模块数据中心测试规范》等2项团体标准荣获协会年度科学技术奖三等奖。 并且,在微模块数据中心的基础上,升级完成第四代数据中心技术(T-block)的研发和落地。 ? 腾讯数据中心作为新基建的重要参与者,已经在华东、华北、华南大规模部署下一代云数据中心集群。
腾讯作为中国互联网的著名企业,自2001年开始便在全国及世界各地部署自己的数据中心,在数据中心领域有着丰富的系统经验,并在2011年6月宣布开放战略以来,积极建立开放平台推出各类云服务。 在1号楼的三层,我们参观了腾讯第三代数据中心的供配电系统和微模块。 具有腾讯自主知识产权和专利的微模块数据中心给前来参观的嘉宾极大的视觉震撼。这是一个TMDC的典型机房,由12个微模块组成12个微型数据中心。 微模块则是在内部进行冷循环,不同功耗的服务器可设立高密度微模块和低密度微模块,把同类型的服务器集中在一个模块内,或者不同机型的服务器热负荷集中在微模块里的微环境中解决,电源和空调模块支持热插拔可以灵活调配 在监控方面,采用腾讯自主研发的微模块智能监控系统,使不同厂家不同品牌的机柜监控面板界面内容标准化、统一化,并且值班巡检支持PAD电子化巡检。