---- 新智元报道 编辑:David 如願 【新智元导读】NASA不求E级超算,老机「模块化」升级,皮实又耐用!|还在纠结会不会错过元宇宙和web3浪潮? 不过,这次这个超算Aitken,其实不是新造的,而是对老系统的一次升级。 此前,这台超算一直是数百名与NASA有关的科学家和工程师的关键资源,为该机构的太空探索、地球科学和天体物理学方面的研究项目提供重要的算力支持。 此前,Aitken在去年6月的超算Top500榜单中排名第 72 位,今年上升至第 58 位。 「模块化」升级,经济又实用 由于任务需要,NASA要的不是单体的、独立的大型超算系统,比如最近刚刚登顶Top500榜单的「E级」超算Frontier,而是采取了类似于最近欧洲超算设计(如LUMI)的
日本超算Fugaku首次搭载ARM芯片夺冠。中国超算总数持续占据500强主导地位,共有226台超算上榜。 最近,TOP500超级计算机排名最新出炉。日本超算Fugaku首次搭载ARM芯片夺冠! 无独有偶,在最新的TOP500超算排名中,使用48核ARM芯片的日本Fugaku超算位列世界第一。 去年,K超算退役。 Fugaku超算由日本理化研究所联合富士通打造,此前的代号叫Post-K,也就是京超算后一代的意思,最终以富士山的名字正式命名为Fugaku。 与现有超算相比,这代超算最大的变化就是采用ARM架构,由富士通的48核A64FX SoC提供支持。 中国长期以来在超算领域保持优势,对美国政府和研究机构触动很大,也促使美国加大投入研发新一代超级计算机。 为何各国要以举国之力研制新超算?
我国超算神威·太湖之光位列第二。 6月25日,在德国法兰克福召开的全球超算大会(ISC2018)上 ,“超级计算机500强”(TOP500)最新榜单正式发布。 时隔五年,美国“Summit”终于超越中国超算神威·太湖之光,重回第一。 ? 据悉,本次的榜单的前三名依次是美国超算“Summit”、中国超算“神威·太湖之光”和来自美国的“Sierra”。 随后排在第四和第五位的超算分别是中国超算“天河二号”、日本超算“人工智能桥接云基础设施”(ABCI)。 目前,因半导体产业起步早,在超算方面,美国仍然占据主要地位,但是中国超算数量也在持续增加,其跻身500强的超算比例逐年增高。 数据显示,中国超算数量已经从2017年的201台增加到了206台,现在仍有更多在建的超算,未来有望在算力上再次赶超美国。
根据他公布的路线图,美国能源部将在2021年到2023年部署3台运算速度达到E级(Exascale,每秒运算百亿亿次)的超级计算机,分别被命名为Frontier、Aurora和LLCapitan。 依据路线图的位置排列,Aurora或将率先被推出,成为美国第一台E级超算。 据了解,此前美国能源部透露的一些消息,为了研发E级超算,他们将投入18亿美元以打造至少两台新的E级超算。事实上,不仅仅是美国,中国对于E级超算也已经有了相应的计划。 去年5月份,国内对外公开了E级超算天河三号原型机,其运算速度是天河二号(54.9Petaflops)的20倍,也是世界首台百亿亿次级超级计算机。 从目前的情势来看,中国或将早于美国推出E级超算。届时,随着中国E级超算的推出,以及后续美国等国家的频频动作,超算榜单上或将迎来新一轮厮杀。
这一超级计算机将使用全新研发的处理器A64FX,架构转向ARM,性能将是“京”的100倍,即浮点运算峰值为1.128EFlops(目前,排名第一summit的浮点运算峰值为200PFlops),同时能耗只有3倍
不过,在上榜超算总数上,中国仍居第一。中科院计算机研究所并行软件实验室主任张云泉对此发表了一定的见解:对美国超算是如何反超中国、中国超算存在的问题以及中国超算的未来做出了分析。 而特朗普就任以后,却对超算极其重视,在砍掉了很多科学研究预算的情况下,超算的预算不但没砍,反而增加了。 美国超级计算机Summit 此前中国的超算如何夺得多次冠军? 如果画一条中国超算的性能发展曲线的话,可以看到,中国的超算实际上是从一穷二白做起的。 超算TOP500中美国与中国的份额对比 中国的超算存在哪些问题? 中美的超算竞争还将继续。 中国超算何时可以重夺榜首之位? 美国重回超算排名榜首的新闻发布后,很快有消息说,别担心,中国9月份就可以重回TOP500的榜首了。 这个绝对是谣言。
韩银和还总结了太湖之光的3个亮点:(1)总性能93P,比天河-2又快了3倍,比第3名美国橡树岭实验室的机器快了5倍,是第一台性能接近100P的机器;(2)采用了全国产众核处理器;(3)能效比达到6GFlops 3 大突破 神威太湖之光由国家并行计算机工程技术中心研发,在无锡国家超算中心安装完成,2015年12月21日完成整机系统性能测试,目前由清华大学负责运营。 神威太湖之光运算峰值为 125.4 Pflop/s,持续性能 93 Pflop/s,比天河 2 号快了将近 3 倍,比排名第 3 的美国橡树岭实验室的机器快了 5 倍,也是国际第一台性能接近 100P 虽然我国处理器设计制造起步较晚、基础薄弱,但通过近十年政府支持和大力投入,目前我国在超算领域已经处于世界领先水平,也是继美国、日本之后,第 3 个研发出超级计算机的国家。 神威太湖之光采用中国自主设计和研发的芯片,在超算领域树立了新的标杆,在美国 X86 之外建立了新的生态,可以说中国有了自己的产业链,未来还可能向其他国家输出。
可以说,未来2-3年时间内,中国与美国各自三台E级超级计算机将会把中美之间的超算竞争再度推向白热化。 在3月份,美国能源部还宣布投入5亿美元在阿贡国家实验室建设E级超级计算机Aurora,主要计划利用超级计算将高性能计算和人工智能技术用于癌症研究、气候模拟等领域。 神威E级超算原型机由国家并行计算机工程技术研究中心联合国家超级计算济南中心等团队联合研制,该原型机硬件、软件和应用三大系统中,处理器、网络芯片组、存储和管理系统等核心器件全部为国产化,分别是神威26010 据悉,神威E级超算原型机预计于2020年完成研制部署,建成之后将性能会是“神威·蓝光”的三倍,体积仅为后者的九分之一,能耗同比下降75%。 目前,神威E级超算原型机已完成包括全球气候变化、海洋数值模拟、生物医药仿真、大数据处理和类脑智能等12个领域的35项重大计算任务。 ?
---- 新智元报道 编辑:LRS 【新智元导读】最近几年E级超算的呼声越来越高,但始终还没有哪个国家推出百亿亿次超算。 美国Frontier超算近期开启公开测试,采用全AMD的架构,含超千万GPU核心,美国能全球首发E级超算吗? 超算排行榜,明年可能要迎来大变化! 但各个国家对超算的需求没有止步,各种科学仿真实验都需要更强大的超算,负责ORNL计算设施的Justin Whitt表示,Summit超算需求量大概相当于实际能力的4-5倍,所以组装新超算Frontier 一位不愿透露姓名的权威人士表示,去年3月,在申威Sunway Oceanlite架构上跑过一次LINPACK,也就是目前超算排行榜排名第4的神威太湖之光的下一代产品,其峰值计算性能达到了1.3 exaflops 前面提到的Aurora超算设计功率就是40MW,而欧洲更是致力于将其首套E级超算能耗控制在10MW内。 还有近两年芯片行业短缺、产能不足也会影响超算的组装和研发进展。
---- 新智元报道 来源:tomshardware 编辑:大明 【新智元导读】美国能源部宣布建设新的“E级”超算El Capitan,算力将达到1.5EP,预计2023年上线,是现有最快超算算力的 10倍,超过目前“超算500”榜单上前10名的算力总和,同时实现了4倍的能效提升。 但新超算将使用什么CPU和GPU,目前尚不得而知。 美国能源部(DOE)和国家核安全局近日宣布,超算制造商Cray的Shasta超级计算平台将成为El Capitan的支柱。 El Capitan算力将达1.5EP,尚未透露CPU/GPU配置 El Capitan将使用人工智能和机器学习以前所未有的规模和速度进行3D模拟任务,并且在现有超级计算机基本上不可能达到的分辨率下进行 美国能源部尚未透露El Capitan将使用多少机架,如果该超算的刀片机架首尾相连,长度将比优胜美地国家公园中的3600英尺高的酋长岩(El Capitan)山峰高三倍。该超算的名字正是由来于此。
Capitan以1.742 exaFLOPS的峰值算力蝉联全球超算性能榜首。 中国超算由于不再参与该HPL基准测试的数据更新,因此依旧是无缘前十。 全球超算性能十强名单如下: 1、El Capitan在HPL 基准测试中以1.742 exaFLOPS的峰值算力位居第一。 3、Aurora以1.012 EFlop/s的HPL性能排名第三。该超算安装在美国伊利诺伊州的阿贡国家实验室,也是由美国能源部运营。 该超算安装在微软Azure云平台上,并且它依然是Top500超算中最高排名的云计算系统。 总结来看,在本次公布的全球超算TOP500性能榜单前十当中,AMD为其中5个超算系统提供了助力,并且还占据了前二。
AI超算——人工智能数据中心的小型化, 问题的答案? ”(以下简称AI超算),告别CPU产品的冗重与低效。 从具体参数看,AI超算表现出十分超前的性能。 而在具体场景中,很多组织也在通过AI超算获得算力。 可以看到,AI超算正在满足不同类型组织中的数据科学团队需要。 除了算力,AI超算 还将解决数据团队的“要素配置”难题?
作为 SenseCore 商汤 AI 大装置计算基础设施的重要组成部分,AIDC 一期工程的设计算力为每秒 3740 Petaflops(1 Petaflops 为每秒千万亿次浮点运算),是亚洲最大的超算中心之一 在报道超算的新闻中,我们经常会见到 Petaflops 这个单位,其代表每秒一千万亿次单精度浮点运算(10 的 15 次方)。 目前国内已知最大的人工智能的算力中心是鹏城实验室的「鹏城云脑 II」,输出 1000 Petaflops 算力。商汤 AIDC 的算力,每天可处理时长 23600 年的视频。 2019 年,商汤在上海的超大规模智能计算中心计划提上了日程,2020 年 3 月份公司和临港签约,7 月开工,去年通过验收。 AIDC 启动运营后,将进一步扩展商汤的 AI 超算规模,使商汤的总算力超过每秒 4910 Petaflops。 在短时间内建设如此大规模的 AI 计算中心,在国内范围内尚属首例。
美国正在准备中的E级超算至少有3台,美国能源部为此投入超过18亿美元。 这还只是美国政府部门主导的项目,如果算上企业,特斯拉在建的Dojo超算目标速度也是1E。 我国正在进行的E级超算项目也有3个。 先不提达到人类水平这么远的事,按照现在最受认可的SAE自动驾驶分级标准,达到L3级别也要2000万公里路测历程,对应的数据体量达到1-2EB。 自动驾驶行业还有一个难点是不同环节要求的数据协议不同。 数据导入时需要的是S3/NFS格式,数据预处理需要HDFS格式,AI训练又需要NFS格式,后面还有仿真、模型验证…. 当然,还要达到合理的存算比。 一直以来我国超算中心建设都存在重算力、轻存储的问题。 在我国,存力(存储容量PB)与算力(计算算力PFLOSPS)的比例为1:2,相应的投资比例为1:3。
动手试验中的练习3可以说明这一点。 3 分区的几点考虑 1)策略之一,按时间分区(按年、季度、月)。 2)一般,分区不建议少于4000行或者超出2千万行数据。 )和数据,还可以有第3层,聚合(aggregations)。 3)BIDS和SSMS均提供“聚合设计向导”工具设计合理的聚合。 3)假设将2005年作为历史数据,在BIDS中,将“Internet Sales 2005”分区更改为HOLAP模式。部署。 3)在“浏览”页面,设计按年统计销售额的报表。
但是对于milvus这种存算分离+云原生的架构,如果新写入的数据要经过write-object storage再download的过程才能可查,那么且不说由于flushInterval太短造成的小文件问题 存算双读双读就是存储节点和计算节点都做查询再做结果合并,如下图, 存储节点的热数据和计算节点上synced数据之间没有交集,查询分2路分别查到hot_result和synced_result后进行合并, 存算双写而双写意味着同一份数据,既写入存储节点,又写入计算节点。如上图所示,当查询发生的时候,query只需要发给计算节点,就能够得到完整数据。 Milvus的存算双写机制综上,无论是双写还是双读,存算分离架构下都需要相当的额外资源和复杂性来满足数据实时性的要求。milvus在这个问题上选择双写。 总结本文从“最新数据实时可见”这个需求入手,介绍了milvus 通过存算双写保证数据实时可查的解决方案和整个双写流程。
---- 新智元报道 来源:外媒 编辑:Q 【新智元导读】近日,全球目前的最快超算富岳的创造者之一松冈聪接受了采访,并表达了对于未来超算的一些看法。 这个速度比美国橡树岭国家实验室研发的世界第二超算Summit快了将近3倍。去年11月,富岳再次位居榜首。
英伟达将于本周开始销售其DGX Spark“个人AI超级计算机”。该设备性能强大,足以让用户处理复杂的AI模型,同时体积小巧,适合放置在桌面上。
SpaceX新一轮估值达8000 亿美元 但马斯克说,Space X的价值来自于太空超算中心。 配备局部 AI 计算的卫星,即仅将结果从低延迟、太阳同步轨道传回,将成为<3年内生成AI比特流成本最低的方式。 而且这是 4 年内实现扩展的最快方式,因为地球上已经很难找到便捷的电力来源。 AI第一阶段竞争是算力,第二阶段竞争是能源。 马斯克的太空超算,一举两得。 对别人来说太科幻,但对马斯克来说,怎么感觉很现实呢,这就是马斯克的魅力吧。
按照计划,这两台超算将先后于2022年、2023年投入使用。 事实上,根据说明书的内容显示,能源部计划开发的百亿亿次级超算共有三台,只不过,由于第三台还属于“潜在系统”,最后究竟是否开发还需要视情况而定。 据了解,这是能源部第二次决定投入巨资开发百亿亿次级超算系统,其第一台百亿亿次级超算A21目前正处于开发阶段,将部署在阿贡国家实验室,于2021年投入使用。 此次拟定开发的两台超算将先后于2022年、2023年,分别部署在橡树岭国家实验室和劳伦斯·利弗莫尔国家实验室,以满足能源部科学办公室先进科学计算研究项目(ASCR)、国家核安全管理局高级仿真和计算项目( 目前,世界最快超算top 500的榜首是我国的“神威太湖之光”。不过,在前十名的榜单中,美国以Titan、Sequoia、Trinity、Cori四台超算成为入榜数最多的国家。