导语:微模块技术是数据中心行业未来的重要发展方向,此文重在梳理微模块尤其是颗粒度方面的概念定义,望君品读。 腾讯微模块技术在标准化、机房能效、建设速度、资源储备及运营标准化等方面均成绩斐然。 本文旨在简单梳理微模块尤其是颗粒度方面的概念定义,望能与诸君讨论优化,学习业界优秀设计以得较优模型,后期巩固版本,开辟一条“有中国特色”的微模块发展之路。 微模块数据中心的概念定义是什么? ,调整机柜功率密度以满足业务瞬息万变的需求; 最后,若以微模块为基本单位,则其和2 到3 代服务器生命周期匹配,整体交付,整体退役以便改造升级。 微模块内部视图 我们认为微模块数据中心不能简单地和冷(热)通道封闭等传统技术混为一谈。 物理接口方面,微模块和外界的接口就是供电、空调、以及光线铜缆,和建筑的安装泊位。类似于不同类型的服务器,微模块的版本也可以分别设计成计算或者存储等类型。
二、3D模型搭建(耗时占比30%)这个是重中之重,大致有:1:建筑结构建模2:使用Editable Poly创建精确的墙体与天花板结构3:通过Boolean运算制作通风管道穿墙孔洞4:用Array阵列工具快速生成防静电地板矩阵 配合Sweep修改器生成带截面的桥架模型三、材质与照明系统(耗时占比25%) 这个过程较为耗时,大致有几点:1:使用Light Lister统一管理光源参数2:通过Exclude功能控制灯光影响范围3: 设置灯光层分组实现分层渲染四、渲染参数优化(耗时占比15%)与后期处理与交付(耗时占比10%)在Photoshop中完成最终润色:1:基础校色2:使用Camera Raw滤镜调整整体曝光3:通道混合器增强金属质感 4:特效叠加5:添加Lens Flare模拟设备指示灯6:使用Depth Pass制作景深效果本流程为我西安六方体效果图工作室原创,通过科学分工节点创建,将平均制作周期缩短至3-24小时。
综合考虑,选择5+1 的300mm 宽空调用于高功率微模块(制冷能力约为125KW),选择3+1 的300mm 宽空调用于中低功率微模块(制冷能力约为75KW)较为合适。 ? 3、建筑柱网对微模块尺寸的限制 目前国内数据中心多为非钢结构的多层砖混结构建筑,在机房内安装时碰到柱子的问题时有发生。为避免碰到柱网带来的现场改造以及非标定制,需考虑柱网对微模块尺寸的影响。 图3 建筑柱网对微模块布局的影响 4、 综合配电柜及CDU 的物理空间限制 一个机柜内能摆放的支路数量受机柜空间限制。运维操作空间也会影响到可以支撑的总机柜数量。 :IT总功耗120KW左右,IT机柜数量为12个,行间空调六台; 2、中密度高功率微模块:IT总功耗120KW左右,IT机柜数量为18个,行间空调六台; 3、中密度中功率微模块:IT总功耗75KW左右, 图7(b)yahoo 微模块 3、一个48V 电池柜带六个IT 机柜的facebook 微模块,采用的是集中风扇墙蒸发散热及市电直供48V 电池后备定制服务器。 ?
有很多朋友私下问我,这个机房微模块效果图怎么才能制作的又快又好?这个今天抽出时间,专门写一下这个过程。大致分为六步:前期图纸整理部分,建模部分,材质部分,灯光部分及渲染,后期。 专注机房弱电微模块效果图设计多年。 西安六方体原创文章,请勿转发。
3、特性优势 相比社区已有方案,hel-micro 优势如下: 基于 sdk 的远程加载能力,我们可以搭配公共cdn部署远程模块(sdk默认指向unpkg),用户也可以轻松定制自己的模块管控平台,然后重置 `helra`将提供以下特性: 1 子应用独立部署,独立发布,由一级路由命中访问 2 共享基座上下文,可在一级路由下独立注册自己的子路由 3 应用本地启动自带基座,发布后基座运行时自动移除 4 应用间可相互共享组件
这是因为在实际应用中,人们通过对微模块及其功能单元的容量、尺寸、接口及主要技术方向进行标准化定义,使微模块具备了工业产品化、标准化的特点,每个微模块的功能单元均可以在工厂预制,在数据中心现场拼装成微模块 ,提出了“微模块数据中心”的概念,微模块数据中心的雏形就此应运而生。 微型模块化数据中心 推动微模块标准化工作发展 随着微模块数据中心开始批量生产、运输、建设、使用,随之而来的问题就是如何推动微模块的标准化工作。 随着ODCC对微模块标准化的深入,行业内相关供应商均纷纷加入制定工作,微模块数据中心建设思路的优势开始体现,微模块建设进入了蓬勃发展期。 负责腾讯微模块的设计及实施工作,实现超过上百套微模块的投产运行。
无独有偶,在2022第十届数据中心标准峰会上,“微模块化”同样成为业界讨论的热点,新华三等厂商在微模块数据中心领域的动作亦受到了极大关注。 第三,随着近年来“东数西算”战略的深度推进,国内数据中心未来3-5年不会再出现批量化扩容增容;加上数据中心已经成为能耗大户,在“双碳”政策的大趋势下,高能耗的大规模传统数据中心会陆续转型优化,让位于分期部署 、高效节能的微模块数据中心。 02 微模块为何 需要四智? 在传统28柜*3KW的机房空间,换成新华三模块化产品,可以实现42柜*6kw,大幅增加了数据中心的算力密度,对于部署像AI等计算资源密集型应用极为有利。
什么是微模块? 微模块(Modular Data Center,MDC)是腾讯对数据中心标准化、模块化、产品化的思考与探索,也为第四代T-Block技术发展奠定了坚实的基础。 微模块由机柜、配电单元、HVDC、电池柜、列间空调、管控柜、密闭冷通道等组件构成,每一个微模块都是一个独立完整的机房。 ? 图3 典型冷冻水系统示意图 如图3,典型的腾讯微模块数据中心采用水冷冷冻水方案。管路系统采用环路设计,可满足在线维护要求。 腾讯微模块就是这样一款爆品。经过8年应用实践,微模块机房已成为腾讯数据中心的主力军,机架数量占比超过六成。 随着产品技术的不断标准化和采购需求量的不断上升,微模块产品相关配套的产业链已非常成熟,单个微模块CAPEX比早期下降60%以上。 腾讯微模块技术具有良好的节能性,大大降低OPEX。
可以看到我们用了近半年的时间来做研发,一直到输出1.0的技术标准;从2010年5月到2012年3月,我们用了将近两年的时间在实验室进行试运行验证。 在经过实验局和小批量试点之后,2013年开始全局推广,首先腾讯在蛇口跟深圳电信首次以微模块的方式合作建设,同时采用了整机柜技术;之后在深圳坪山新区跟联通也是以微模块的方式合作,有60套微模块的规模;再后来是腾讯天津数据中心二期全部采用微模块技术 其实微模块就是把机房的颗粒度缩小到一个微模块里面,那在每个微模块里面很容易实现整体上架,整体退役,当采用同一个批次的服务器,升级改造做起来就相对简单,只需要把这个微模块断电就可以了,断电和其他微模块物理隔离开来 运营成本是TMDC最有优势的一个方面,刚才我们也讲了,通过封闭冷热通道会有一定节能,行间制冷也会有一些节能的提升,高压直流也会在效率上至少提升3%,市电直供会减少一些线损,市电送到服务器供电效率我们可以认为是 在微模块方式下,微模块本身就可以作为一个容灾的基本单位,实际上在同一个园区里面,可以跨微模块去做这种分布,会更加的灵活和节省投资。
在15000平米、12000kVA的容量下,历时4个多月,建成可用性达到Tier3+、30%负载率PUE1.5,可容纳25000台服务器和交换机单板的数据中心。 image.png image.png 通过验证后参观团队统一进入3号楼,这栋楼承载了10万台服务器,用电负荷差不多相当于8万个城市家庭的总用电量。 image.png 到达数据中心的核心区域——服务器机房,终于看到重点展示对象:微模块。每个微模块都包含自身的配电系统、空调系统、消防系统和监控系统等,可以简单认为微模块就是一个微型数据中心。 因此,微模块和整机柜解决了传统数据中心建设的周期冗长、配合复杂的问题,可快速、灵活地部署,这个特点使微模块更容易安排分期建设,保护投资。 “如果把服务器看成标准砖头,机柜看成厨房、阳台、洗手间,微模块就是小户型套房。通过微模块,我们可以不断复制堆叠,形成机房楼,乃至整个园区。”闫昆说道。
2014年3月底,李典林在DCD Converged会议深圳站上阐述了腾讯的模块化数据中心建设方法论:模块化数据中心设计遵循“从小到大”的原则,即从机柜、IT微模块、机房模块、建筑单体到园区逐层设计;而模块化数据中心建设遵循 “通过微模块,我们可以不断复制堆叠,形成机房楼,乃至整个园区。” 微模块是第一届腾讯数据中心分享日的明星,参观天津滨海数据中心的环节亦然——后者由于建设较早,没有机会完整实践模块化数据中心建设方法论。 水冷的设计是3+1,在秋冬季可以启用水侧自然冷却。 3 机房模块 机房层有6个机房模块,每个包括5组微模块,每组有18个机柜和12个机柜的微模块各一,所以总共是900个机柜:(18+12)×5×6 = 900 每个机柜的供电容量为6~8千瓦(kW),最大可支持到 施工中的机房一角,可以清晰的看到微模块的安装位置 参观伴以解读,我对从机柜、IT微模块、机房模块、建筑单体到园区的逐层设计有了直观的认识,也是头一次参观尚未完工的数据中心而不感觉混乱无序。
我们参观的3号楼属于腾讯的第三代数据中心,“用现在制冷的方法做到极致,冬天在天津也只能做到1.2左右的PUE…” ? 腾讯天津滨海数据中心3号楼供电容量60MW(30×2),号称亚洲单体供电能力最强的数据中心,单机柜平均容量8KW,高可到10KW。 腾讯天津数据中心3号楼是典型的三层建筑,其中第二层还未启用 另一个有目共睹的问题就是空气质量,特别是京津地区,近几年的状况堪忧。 典型的做法是一层接市电、装柴油发电机,以及制冷设备和复杂的水循环管路,二、三层布置服务器机架等IT设备及电、冷支持系统(如腾讯天津数据中心3号楼)。 腾讯天津数据中心3号楼一层的管道,这是典型的工程,很难模块化 在整个应用堆栈中,数据中心属于基础设施,而就数据中心本身而言,建筑、供变电、冷却系统等“风火水电”(金木水火土?)
微模块就是一个微型数据中心 微模块解决方案是腾讯第三代数据中心TMDC的核心。 按照腾讯的设计,每个微模块都包含有IT系统、配电系统、空调系统、消防系统和监控系统等,可以简单地认为微模块就是一个微型数据中心。 这样的设计好处显而易见。 当数据中心“退役”时,工作人员还可以很方便地将那些还可用的微模块拆卸下来,在其他数据中心组装后继续使用。 在腾讯天津数据中心,笔者参观了一个典型的微模块机房。 这个机房由12个微模块组成,每个微模块占地仅20多平方米,却有12个服务器机架,每个机架上密密麻麻地排列着80台服务器(1U上有两台服务器)。 也就是说,在一个很小的空间内,每个微模块竟然容纳了960台服务器。 每个微模块的外部都挂着一块液晶屏幕,运维人员可清晰地查询微模块的各种运行状况。
【定义与缩略语】 TMDC:Tencent Modular Data Center(腾讯模块化数据中心),指完全按照模块化设计思路搭建的可快速部署的数据中心模型,数据中心内部由N个完全相同的微模块(Micro 微模块:Micro Module,指以若干机架为基本单位,包含制冷模块、供配电模块以及网络、布线、监控在内的独立的运行单元。该模块全部组件可在工厂预制,并可灵活拆卸,快速组装。 【正文】 这两年微模块、MDC这几个词在数据中心圈子里频繁出现,有点潜流暗涌的味道;另一个好玩的事实是,这么多年一直不温不火的行间空调三年前籍着微模块又探出头来,风生水起...... ? 于是不断有朋友问我,你们为什么要做微模块?有什么好处?这个问题在两年前往往当场把我将死,语塞气短,直到现在慢慢有越来越多的支撑数据了,才开始有越来越多的话可说。 The End 【重要通知】 尊敬的用户,为更好地为您提供服务,我们现隆重推出微信同名订阅号“腾讯数据中心”,每周推送2~3篇文章,与您分享数据中心行业资讯、腾讯数据中心ABC、IT人心声等内容
【快速部署】 一个数据中心的拔地而起,从选址、地勘、规划、建筑设计、机房设计,到招投标、基础建设、机房建设、设备测试、系统测试、验收并交付运营,差不多都得2~3年的时间。 当大楼建筑和基础水电都已经就绪后,IT部分的部署速度又快到以周记了,我们也就不急了;当实实在在的业务需求来临时,我们再3套、8套、10套地按月/季度向微模块厂商下单,胜似闲庭信步。 (图二) 【数据中心生命周期与服务器生命周期之间】 通常情况下,一个数据中心的生命周期是10~15年,而一台服务器是3~5年。也就是说,在数据中心的生命周期内,将见证2~3轮的服务器更替。 ? 服务器部署的基本单位放大到一个微模块。同一个批次的服务器,可以很容易让他们部署在同一个微模块内,当五年后退役,把微模块断电隔离出来进行改造就行了。 小明又来了。 当一个微模块出现故障,影响范围完全可以隔离在该微模块内,不影响其他运行中的微模块。 当然,TMDC带来的运营模式的变化还包括数据中心监管控系统的革新。这里不再深入了。 还是小明。
远程模块可以作为微模块(模块级别的微前端),是页面级别的微前端的一种补充,因为页面级别的微前端,如 qiankun、无界等,它们的粒度太粗了,有时候需要更细粒度的微前端,例如:组件、函数级别的。 这种场景,就可以使用远程模块,来实现微模块的效果。 模块型微前端相较于微容器宏观态的组合应用方式,微模块则可以形容为微观态的组合方式,它的粒度更小,小到可以是一个函数,一个基础的组件,对于开发者来说,引入微模块和引入一个普通的js包没有任何区别,他们在使用上也并无任何区别 是它和微容器最大差异之一,微模块的使用方式回归到了js语法本身。 这种场景,就可以使用远程模块,来实现微模块的效果。方案微的定义微前端的定义技术实现使用场景MF模块由多个互相独立的模块聚合而成的应用模块本质上是JS代码片段,这种代码片段一般称为chunk。
深圳市阿尔法特网络环境有限公司副总经理 韩迪 “我们选择了数据中心微模块这一方向。” 韩迪说,2012年的阿尔法特判断,至少在企业网市场,能够快速建设的微模块模式会成为主流;而当时,“国内并没有出现一个能力很强的专业微模块厂商”。韩迪是深圳市阿尔法特网络环境有限公司副总经理。 当然,微模块市场并不是没有强势的国际厂商。基于精密空调、UPS等单产品优势,艾默生(Vertiv)和施耐德电气等国际公司已经推出了成熟的微模块产品。 阿尔法特所谓的错位竞争,所指对象就是它们。 5年后,公司业绩从代工收入3千万元,变成了产品销售的1.5亿元。期间,阿尔法特经历了小项目起步、大客户聚焦,再到大客户与渠道业务并行的三个典型成长阶段。 “微模块能够生存的一个核心优势,在于它能够针对不同客户应用环境,提供定制化的解决方案。”韩迪说。
小编提示 腾讯数据中心作为数据中心新技术的践行者,自采用微模块模式后,便已形成了独有的技术规范,同时极大的推动了行业微模块数据中心技术的发展。 , 内部由若干个微模块组成,可实现快速部署并进一步降低能耗。 这是一个TMDC的典型机房,全部由微模块组成。 腾讯微模块 亮点3高压直流为主旋律 高压直流(HVDC)一直被运营商所驱动,如果服务器的供电方式采用“市电直供+高压直流”系统冗余,和传统的不间断电源(UPS)2N双路供电模式相比,占地面积少,方便维护 1号数据中心楼水冷系统采用3+1冗余 ? 供水、回水管道采用不同颜色区分,并做保温处理 ? 板式换热器 亮点5自动化运维 要说数据中心运维管理自动化程度,业内非腾讯数据中心莫属。
image.png 前面介绍了switch通信数据中心的总体设计思路,下面再介绍其数据中心内核心的IT微模块,根据图6所示的IT微模块示意及相关专利介绍称,其每个微模块由18个机柜构成,两侧不同供电路有两个列头柜和一个综合配线柜 switch通信微模块热通道封闭,机柜顶部采用了模块化的封闭通道组件和标准化的强弱电桥架。根据微模块机柜数及前面机柜平均功率推测,每个微模块总功率平均约为160-180KW。 图6 SuperNAP 数据中心的微模块 switch通信在微模块的结构件方面也煞费苦心,即便是机柜顶部封闭通道的建设,也采用了工厂预制的模块化标准组件400、转角组件450、标识为500的线槽支撑件以及标识为 图8 SuperNAP 数据中心内不同颜色UPS 图9是供电线路图示意,每个IT微模块来自两个不同的PDU供电,三套PDU总共给12个微模块来供电,实现UPS的DELTA型2N供电架构,这样在保证了2N 与常见的传统数据中心中心不同,SuperNAP没有采用架高地板和精密空调冷却系统来冷却设备,而是选择了室外模块化AHU和室内热通道吊顶及风管送风的设计,这能够提供每平方英尺多达1500瓦的冷却量,是行业标准的3倍之多
对于微模块,BAT做的比较领先,中兴、华为这些公司更加推动了这个行业的普及。以上三种数据中心实际上也是腾讯最近十多年的一个演进的历程。 我们刚才开始使用微模块,行业里面不太清楚微模块是什么,可是到现在据说一年微模块的出货量达到一两千套,那么微模块是怎么实现的,简单来说就是将过去传统的机柜,封闭通道,电池,空调,在现场快速拼装,形成一个标准的统一产品 ,交互给客户,可以看到微模块已经实现了部分的数据中心的产品化的工作,可是同时我们也看到,微模块还只是数据中心里面一小部分,还有大量基础设施,仍然以传统的方式进行施工作业,这个时候我们希望通过T-Block 解决微模块以外的工作。 3,与服务器高温趋势结合。 4,适合大规模应用。 我们认为,间接蒸发冷却会更加贴合服务器高温化这样一个趋势。