首页
学习
活动
专区
圈层
工具
发布

我把毁灭战士的渲染器编译进了一个210亿参数的Transformer,全程无需训练

前面两篇帖子其实都是在为这个项目做铺垫,这也是我这系列折腾的收尾了我没有去训练模型,而是自己写了个编译器,把计算图直接转成Transformer的权重,再把毁灭战士的渲染算法移植到兼容的计算图里生成出来的模型文件可以直接用Hugging Face加载,不需要开启远程代码执行权限,就是个标准的transformers检查点

使用时,你给模型输入一段代表场景数据的提示词,然后一直生成,直到模型自己停下来生成的token序列里包含简单的像素绘制指令,比如移动光标画一个像素之类的照着这些指令机械地执行,就能得到渲染出来的画面

文章里附了完整的宿主程序,负责加载检查点生成渲染结果,并把输出解析成经典的E1M1关卡画面这段宿主代码只有43行Python而定义计算图的Python代码要长得多,不过那些代码最终都编译进Transformer里了

渲染一帧画面,需要输入3614个token的提示词,再生成53747个token,在B200上跑完要花40多分钟

当年的毁灭战士在486电脑上能跑到35帧每秒,而这个方案在B200上大概是一天35帧

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OuYCnGgvWAG-g16OgqLi9xUw0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券