首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >Mojo >Mojo 的性能表现体现在哪些方面?

Mojo 的性能表现体现在哪些方面?

词条归属:Mojo

1. 接近甚至超过厂商调优库的矩阵乘法表现

在 AMD Instinct MI355 的适配案例中,Modular 公开了 M=N=K=8192 规模下的实测数据:上线当天初始版本的 Mojo matmul kernel 达到 1,202,302.79 GFlop/s,AMD 的 hipBLASLt 库为 1,561,446.68 GFlop/s,经过约一天的参数调整后,Mojo kernel 提升到 1,610,514.29 GFlop/s,即比当时的业界最优水平快约 3%。需要说明,该组数据由 Modular 官方在自家博客中披露,属于厂商自测结果。

2. 少量代码即可承载核心算子

同一案例中,整套 matmul 实现只有约 500 行带有完整注释的代码。而且同一份代码在 MI300、MI325、MI355 三代 AMD 硬件上都能保持接近最优的性能,跨代移植主要靠参数化调整完成。

3. 端到端推理吞吐优势

在相同场景的下游对比中,MAX 相比 AMD 优化过的 vLLM 分支,在多种工作负载下最高达到 2.2 倍的领先幅度,同时保持了对 MI300、MI325、MI355 的完整可移植性。

4. 开发者效率层面的性能收益

Mojo 的性能价值不仅体现在运行时,也体现在工程效率上。上述新硬件适配仅耗时约两周、投入约 1.5 名工程师、提交 20 个小规模代码合并请求,官方将其归因于参数化算子与架构无关设计带来的工程杠杆。

相关文章
Netty的高性能体现在哪些方面
Netty是一个高性能、异步事件驱动的网络应用程序框架,它具有出色的稳定性和灵活性。在现代的分布式系统和互联网应用中,Netty已经成为构建高效、可扩展和解耦合的网络应用程序所必不可少的工具。
青山师
2023-05-05
6650
云服务器的“弹性”体现在哪些方面?
弹性云服务器具有良好的可拓展性,支持用户随时在线对服务器的内存、系统盘和带宽进行灵活调整;凭借集群部署的成本优势,极大程度降低了IT部署与业务运维成本;由于服务分散在多台主机、甚至多个机房,所以不容易彻底宕机,抗灾容错能力强,能够确保长时间在线,让网站运行更加安全、可靠。
用户6049522
2019-09-09
3.6K0
企业老板的精益格局体现在哪些方面?
事实证明,一个精益生产项目能否成功,能否长期有效,是否真正能把企业带向辉煌,都跟老板的精益格局有必然关系,且是强正相关。那么,一个企业老板的精益格局体现在哪些方面呢?天行健简析如下:
用户9972271
2023-03-23
4240
云服务器的优势体现在哪些方面?
逃脱了固有的数据存储问题,现在很多企业都在选择云服务。同样,企业的云服务需要云服务器支持。但是云服务器是什么?云服务器的概念和我们传统的物理服务器概念有什么出入呢?
企商在线
2021-08-16
2.1K0
多屏互动投屏的优点体现在哪些方面?
科学技术改变着我们的生活方式,智能化设备的诞生给我们生活提供了很多的便捷,也让我们的生活发生了翻天覆地的变化,所以我们正处于一个信息化时代和智能化时代。如今我们使用到的家用电器也越来越智能化,也为我们的生活提供了很大的便利,而多屏互动也正在进入我们的视野当中,改变着我们的生活方式。由于电视的资源比较有限,所以现在很多人们通常也会用多屏互动来实现实时互动,这样的话就可以观看到最新的影视作品了,操作起来也是非常便利的。当然多屏互动的详细条件是手机电脑,平板必须使用同一个互联网才能够实现互动,现乐播投屏就可以实现多方投屏功能,也省去了很多的时间,提高了我们的生活品质。
布鲁斯8号
2022-11-25
1.2K0
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券