来源:内容来自「知乎@汪鹏 」 所谓的AI芯片,一般是指针对AI算法的ASIC(专用芯片)。 传统的CPU、GPU都可以拿来执行AI算法,但是速度慢,性能低,无法实际商用。 在手机终端,可以自行人脸识别、语音识别等AI应用,这个必须功耗低,所以GPU OUT! 所以,开发ASIC就成了必然。 说说,为什么需要AI芯片。 总的来说,CPU与GPU并不是AI专用芯片,为了实现其他功能,内部有大量其他逻辑,而这些逻辑对于目前的AI算法来说是完全用不上的,所以,自然造成CPU与GPU并不能达到最优的性价比。 但是,这些算法,与深度学习的算法还是有比较大的区别,而我的回答里提到的AI芯片,比如TPU,这个是专门针对CNN等典型深度学习算法而开发的。 谷歌的TPU,寒武纪的DianNao,这些AI芯片刚出道的时候,就是用CPU/GPU来对比的。 无图无真相,是吧?
在整个 AI 系统的构建中,AI 算法、AI 框架、AI 编译器、AI 推理引擎等都是软件层面的概念,而 AI 芯片则是物理存在的实体,AI 芯片是所有内容的重要基础。 本系列文章将会通过对典型的 AI 模型结构的设计演进进行分析,来理解 AI 算法的计算体系如何影响 AI 芯片的设计指标,进而结合几种主流的 AI 芯片基础介绍,帮助大家对 AI 系统的整个体系知识有更全面的认识 计算机芯片体系结构在很大程度上影响了 AI 算法的性能。因此,了解 AI 算法与芯片计算体系结构之间的关系是非常重要的。 AI 芯片的分类 AI 芯片的广泛定义是指那些面向人工智能应用的芯片。 CPU、GPU、FPGA、ASIC 是目前 AI 计算过程中最主流的四种芯片类型,CPU、GPU、FPGA 是前期较为成熟的芯片架构,属于通用性芯片,ASIC 是为 AI 特定场景定制的芯片。
就这些方面来看,AI芯片的确是门好生意,同时也很好地解释了为什么有众多资本会节奏一致地向AI芯片领域集中。 当然,从互联网巨头们的角度出发,其涉足AI芯片的原因远不止此。 这些或许才是互联网巨头们集体进入AI芯片市场的关键点。 这么来看,入注AI芯片行业对于互联网巨头来说意义非凡,也难怪巨头们一直以来都在急于融入到AI芯片市场当中。 毕竟可以利用云端AI芯片赛道取长补短,填补在终端AI芯片的不足,促进整体AI芯片在市场中茁壮生长,同时可以避开各方巨头在终端AI芯片市场中的尖锐锋芒。 或成AI芯片中坚角色 按目前情况来看,纵使有AI芯片整体制造工艺水平略低、应用场景有限等不足,也难掩BAT等巨头正在AI芯片行业频频出圈的事实。 在AI芯片性能方面,互联网巨头依靠已推出的部分产品在AI芯片领域出尽风头。据公开数据显示,昆仑AI芯片能提供每秒260万亿次的定数运算性能。
目前这家初创公司还没有发布其第一代芯片产品。 近日,据国外媒体报道,美国初创公司SambaNova System获得了5600万美元的A轮融资。 目前这家初创公司还没有发布其第一代芯片产品,但其已与潜在客户以及公共云提供商进行了谈话。 近年来,AI芯片一直是各大科技公司竞争的热门对象。早在2016年,谷歌就宣布已经制造出可以快速训练AI模型的芯片——张量处理单元(TPU),以对抗英伟达的GPU。 而老牌芯片CPU巨头英特尔并购了AI初创公司Nervana,以扩大自己在AI芯片上的优势。 在收购AI初创公司方面,谷歌也位列各大科技公司榜首。 从2012年至今,谷歌并购的AI公司最多,大概有14个,苹果公司位居第二位。但是此次收购AI芯片公司,还是谷歌的第一次尝试。
英伟达生态的思考点从软件和硬件架构的角度出发,CUDA 和 SIMT 之间存在一定的关系,而目前 AI 芯片采用的 DSA 架构在编程模型和硬件执行模型上还处于较为早期的状态,英伟达强大的生态同样离不开 面对新的 AI 芯片,在流水隐藏方面,实现架构层面的隐藏流水编排机制,提出一个形式上与 SPMD 没有关系的编程模式,而且易用性堪比 CUDA 的软件是可能的。 编程模型上缺乏统一的标准,因此需要专门搭建编译器和编程体系,硬件主要以 AI 加速芯片(TPU、NPU 等)为主。
谷歌定制化AI芯片(即张量处理器)正通过其专业化架构挑战现有市场格局。据报道,多家大型科技公司正计划斥资数十亿美元采购谷歌的张量处理器,这可能动摇英伟达作为AI芯片主要供应商的地位。什么是TPU? TPU比GPU更适合AI吗?英国布里斯托大学的西蒙·麦金托什-史密斯表示,从技术上讲,张量处理器更像是图形处理单元的一个子集,而非一种完全不同的芯片。 孔蒂指出,英伟达图形处理单元的一个传统优势是,有简单易用的软件可以帮助人工智能设计者在英伟达芯片上运行代码。张量处理器刚问世时并不具备这种便利性,但现在这些芯片已经发展到更易于使用的阶段。 例如,某机构使用自己的Trainium芯片来训练其人工智能模型。 麦金托什-史密斯表示:“大多数大型科技公司都有内部的芯片开发项目,部分原因是图形处理单元因供不应求而变得非常昂贵,自己设计和制造可能更便宜。”TPU将如何影响AI行业?
AI如何改变芯片设计摩尔定律即将终结。工程师和设计师在晶体管微型化和芯片集成度方面已接近极限,因此他们转向其他芯片设计方法,将AI等技术融入设计流程。 AI在芯片设计中的当前应用某机构高级产品经理指出,AI已贯穿芯片设计和制造的大部分环节。在工艺工程中,AI可用于优化流程,缺陷检测是各阶段(尤其是制造环节)的重要应用。 AI不仅是预测工具,更能从数据中提取深层洞见。AI驱动的设计优势传统基于物理的建模计算密集且复杂。AI可创建替代模型(即数字孪生),通过参数扫描、优化和蒙特卡洛模拟大幅降低计算时间。 挑战与局限AI模型精度仍不及传统物理模型,这是通过大量模拟和参数扫描来弥补的缺点。芯片设计和制造需考虑所有组件,整合不同部件的预测模型极具挑战性。 未来趋势将减少追求超精确预测,转向信息透明共享和数字孪生应用,结合AI与人类专业知识,推动芯片设计向更高效、协作的方向发展。
不过,小米公司高级副总裁王翔近日在接受 CNBC 采访时表示,小米正在进行大量与 AI 芯片相关的研究。 手机 SoC 是一项艰难的过程,而且高投入还不一定能带来高回报。 为此,这几家手机巨头纷纷推出了更适合 AI 应用的芯片,使得这些应用能够在手机终端执行,而不需要依靠云端的服务器,以此带来更流畅的使用体验。 而小米已经在自家手机上推出过各种 AI 功能,并且还在大力扩展具备 AI 能力的智能家居的版图(比如小爱音箱)。因此,小米跟进华为等巨头,进行 AI 芯片的相关研究也就在情理之中了。 “我们自己造芯片,主要目的是为了更深入地了解技术。我们(去年)已经推出了第一款搭载澎湃芯片的智能手机。未来,我们将继续相关技术的研发工作,除了芯片组以外,还会涉及 AI 和其他相关的技术。”王翔说。 不过,小米目前还没决定要不要自己造 AI 芯片。 至于澎湃 S2,王翔并未透露更多的信息,只是表示,小米会继续和其他芯片公司保持良好的合作关系。
AI概念在几年前火爆全球,科技巨头们纷纷投入AI芯片的研发,小公司也致力于提出概念靠AI浪潮融资,为了快速在AI市场上立足,也为了让市场和用户能记住自家的产品,各家在芯片命名方面都下了点功夫,既要独特, 本文就从字母A到Z来盘点一下目前各种“xPU”命名AI芯片,以及芯片行业里的各种“xPU”缩写,给大家涨涨知识。 不多说,生产APU的芯片商有好多家。声卡里都有。 2、BPU Brain Processing Unit 地平线机器人(Horizon Robotics)以BPU来命名自家的AI芯片。 今天我们看到的情况是所有的手机芯片都必须有 AI 处理芯片了,2020年麒麟9000的出现更是把AI移动端处理器的性能再升一大截。 另外一种趋势,做高性能计算CPU的公司也不甘错过AI的浪潮。 24、XPU 2017年,在加州Hot Chips大会上,百度发布了XPU,这是一款256核、基于FPGA的云计算加速芯片。百度自研了AI芯片“昆仑”,瞄准云计算和边缘用例。
10月6日消息,据路透社援引知情人士的话指出,生成式AI领域的领头羊、ChatGPT开发商OpenAI正在探索AI芯片的可能性,并已评估潜在的收购目标,以加速自研芯片的研发。 报道称,OpenAI至少从去年就已经开始讨论各种解决方案,以解决AI芯片成本高昂、短缺等问题,其中就包括自研AI芯片、与英伟达(NVIDIA)在内的AI芯片厂商更密切合作、推动AI芯片供应来源更多元化, 虽然还不清楚OpenAI是否会持续推进自研芯片计划,但资深产业人士指出,OpenAI 若是投入自研AI芯片将是一项重大战略,同时也将是一项巨额投资,每年研发投入成本可能高达数亿美元,但无法保证自研AI芯片一定成功 目前面向服务器的AI芯片市场处于英伟达的统治之下,市占率超过80%。特别是自去年年底以来,生成式AI热潮兴起之下,英伟达的AI芯片(GPU)便持续供不应求,价格也是水涨船高。 目前包括谷歌、亚马逊AWS、阿里巴巴、百度、华为等云服务大厂都已有自研 AI 芯片用于数据中心,微软和Meta也有相关计划。所以对于头部的AI技术大厂来说,自研AI芯片已经是一大趋势。
摩尔定律的终结与AI的崛起随着摩尔定律逼近物理极限,工程师正转向人工智能等创新方法。 某机构在其存储芯片中集成AI以实现内存计算,既提升机器学习速度又降低能耗;某中心的TPU V4 AI芯片处理能力较前代翻倍。 AI在芯片设计中的核心应用MathWorks MATLAB平台高级产品经理Heather Gorr指出:缺陷检测:贯穿制造全流程,包括光学元件与传感器设计阶段预测性维护:通过历史数据分析设备停机根本原因数字孪生 :替代传统物理建模,快速完成参数扫描与蒙特卡洛模拟技术优势与挑战效率革命:基于AI的替代模型使仿真速度提升百倍数字孪生技术降低90%原型试制成本精度局限:AI模型准确度仍逊于传统物理模型需融合多传感器数据源 ,系统集成复杂度高工程师的实战建议利用GitHub等开源社区的成熟工具链高频传感器数据需结合频域分析技术明确问题边界,建立模块化测试流程人机协作的未来图景AI将释放工程师生产力:处理材料优化等重复性工作人类专注关键决策与跨系统整合需构建全流程可解释性模型
移 动 端( 手 机 、智 能 家 居 、无 人 车 等 ):移 动 端 AI芯片在设计思路上与服务器端 AI 芯片有着本质的 区别。 人工智能芯片产业现状 4.1 产业现状评述 AI 芯片是芯片产业和人工智能产业整合的关键 ,特别是 AI 系统芯片。 目前国内芯片制 造技术尚待提高,但由于半导体的分工模式相当成 熟 ,国内芯片设计企业并不需要担心芯片生产问题 。 ? 4.2 AI 芯片产业链 AI 芯片产业链主要分成设计—制造/封测—系统。 每家人工智能企业都有自己独特的算法,AI 芯片企业也是一样 ,会根据自己的改良算法来设 计AI芯片。 ? 4.7.1 云端市场 随着云端市场需求不断上升 ,服务器 AI 芯片的市场前景乐观。 AI芯片在物 联网产品上的应用主要有两个用途 ,一个是视觉 AI芯片 ,另一个是语音 AI 芯片 ,但因为自然语言处理 的 AI 产品开发难度高 ,目前新创 AI 芯片企业主要切 入的市场是计算机视觉设备的落地场景
与此同时 , Google、FaceBook、Amazon、Intel等巨头纷纷成立AI团队 ,促进人工智能技术的进一步发展。 未来几年 ,我们应该可以看到“无芯片不 AI”的景象 , 随着人工智能应用场景的逐渐落地 ,底层技术和硬件方向也更加清晰 ,随之而来的是各类芯片公司的 白热化竞争[5] 。 , 也是未来人工智能时代的战略制高点 ,但由于目前的 AI 算法往往都各具优劣,只有给它们设定一个合 适的场景才能最好地发挥它们的作用,因此,确定应用领域就成为发展人工智能芯片的重要前提。 AI 芯片发展需要应用和架构创新双轮驱动 [C]. GTIC 2018 全球 AI 芯片创新峰会 . 上海, 2018. WEI S J. AI 芯片 0.5 与 2.0[EB/OL]. (2019-02-25) [2019- 03-12]. https://mp.weixin.qq.com/s/jpgTCY3cC_AQhBxKznLaOw
Q&A:人工智能将如何改变芯片设计人工智能为半导体行业带来了新的希望和潜力。 为了更好地理解人工智能将如何彻底改变芯片设计,我们与MathWorks公司MATLAB平台的高级产品经理希瑟·戈尔进行了交流。人工智能目前是如何被用于设计下一代芯片的? 在芯片设计中使用人工智能的好处是什么?戈尔: 从历史上看,我们看到了许多基于物理的建模,这是一个非常密集的过程。 这显然会在实际制造和生产芯片时带来巨大的成本节约。你希望在尽可能不采用实际工艺工程的情况下,尽可能多地进行模拟、测试和实验。我们已经谈到了好处。那么缺点呢? 你如何展望人工智能和芯片设计的未来?戈尔: 这在很大程度上取决于人的因素——让人员参与到过程中,并拥有可解释的模型。
网友们纷纷感慨——含A(AI)量,已然成为通信厂商们“秀肌肉”的新方式。 █ 高通的AI布局 作为全球芯片巨头,高通公司在本次MWC上也发布了多款AI赋能的重磅产品,并带来多个生成式AI方面的展示。 这就意味着,FastConnect 7900用一颗芯片,能够实现竞品三颗芯片所能达到的效果。 功能越多,选择余地就越大。厂商和开发者可以基于这三种技术,提供一些近距离感知应用。 大家应该也注意到了,好几个首次,都和AI有关。 在全球统一的通信协议框架下,在相同的频谱资源下,手机芯片想要实现速率峰值的差异化,已经没有太多空间。 提升连接的综合性能,改善体验,增强功能,就成为芯片继续升级的主要方向。 与AI深入融合,可以更好地实现这一目标。 这也意味着,越来越多的用户将会享受到AI带来的5G网络性能提升及功能增强。 █ vRAN服务器处理器 除了面向终端的芯片解决方案之外,高通在网络侧设备芯片上也频频出手。
导语:本文分析了目前AI芯片市场的情况,以及NVIDIA在这一市场的领先地位。不过,随着芯片巨头在AI芯片领域有了新的进展,NVIDIA将会面临更多的挑战,2019年AI芯片市场会如何? NVIDIA快速增长的动力来自人工智能(AI)和高性能计算(HPC)对GPU芯片的需求。NVIDIA首席执行官Jensen Huang喜欢谈论深度学习的“寒武纪爆炸”,指的是神经网络算法的快速迭代。 目前,我们处于AI芯片爆发的门口,全球许多大型和小型公司都加入其中。三年前,芯片创业公司几乎不可能获得风险投资,现在,有数十家资金充足的挑战者在研发AI芯片。 重磅的竞争者 根据纽约时报的统计,有超过40家创业公司进入AI芯片领域,但实际情况是,只有少数公司能在这个市场上取得真正的成功(比如收入超过10亿美元)。 此外,即将推出的Xilinx 7nm芯片称为Versal,具有AI和DSP引擎,可加速特定应用程序处理以及自适应逻辑阵列。Versal将在今年的某个时候开出货,我认为这可能是推理处理的改变者。
在整个 AI 系统的构建中,AI 算法、AI 框架、AI 编译器、AI 推理引擎等都是软件层面的概念,而 AI 芯片则是物理存在的实体,AI 芯片是所有内容的重要基础。 本系列文章将会通过对典型的 AI 模型结构的设计演进进行分析,来理解 AI 算法的计算体系如何影响 AI 芯片的设计指标,进而结合几种主流的 AI 芯片基础介绍,帮助大家对 AI 系统的整个体系知识有更全面的认识 计算机芯片体系结构在很大程度上影响了 AI 算法的性能。因此,了解 AI 算法与芯片计算体系结构之间的关系是非常重要的。 AI 芯片的分类 AI 芯片的广泛定义是指那些面向人工智能应用的芯片。 CPU、GPU、FPGA、ASIC 是目前 AI 计算过程中最主流的四种芯片类型,CPU、GPU、FPGA 是前期较为成熟的芯片架构,属于通用性芯片,ASIC 是为 AI 特定场景定制的芯片。
目前已经有大量的 AI 芯片研发上市,但是如何开发基于硬件的编译栈与编程体系,让开发者更好地使用 AI 芯片,更好的发挥 AI 芯片的算力,让生态更加繁荣,因此理解 AI 芯片的编程体系就显得尤为重要。 AI 芯片并行分类 AI 芯片主要是为实现并行计算,从程序并行的角度出发,主要可以分为指令级并行、数据级并行和任务级并行: 指令级并行(Instruction Level Parallelism,ILP 在 AI 框架的开发流程中,首先由算法工程师定义神经网络,然后使用 AI 框架(如 PyTorch、MindSpore、PaddlePaddle 等框架)编写对应的程序;AI 框架自动构建正向计算图,根据自动微分机制构建反向计算图 ;最后将计算图转变成算子的执行序列,算子最终会执行在底层 AI 芯片上。 针对 AI 框架中具体的数学计算业界一般称为算子,其在 AI 芯片等硬件上提供了具体的 Kernel 实现,需要根据硬件执行模型(Execution Model)来确定编程模型(Programming
AI芯片分类 从三个维度看懂AI芯片种类: 技术架构 从技术架构来看,人工智能芯片分为通用性芯片(GPU)、半定制化芯片(FPGA)、全定制化芯片(ASIC)、类脑芯片四大类。 云AI芯片的特点是性能强大、能够同时支持大量运算、并且能够灵活地支持图片、语音、视频等不同AI应用。我们现在使用的各种互联网AI能力(比如在线翻译、人证比对),背后都有云AI芯片在发挥作用或提供算力。 英特尔、IBM等老牌云服务器芯片厂商同样在积极布局这一市场,各自通过并购、投资、研发等方式不断切入云AI芯片市场。 这便需要有嵌入到设备内部的端AI芯片,让设备不需要联网就能具备AI能力。它们的特点是体积小、耗电少,而且性能不需要特别强大,通常只需要支持一两种AI能力。 现在手机里的芯片、摄像头里的芯片、甚至你家电饭煲里的芯片都开始陆续AI化。云端格局应该变化不大,但是在终端方面变数未定,边缘计算值得关注。云端市场已被巨头瓜分殆尽,创业公司生存空间几乎消失。
但随着科技巨头纷纷研发自己的AI芯片,包括谷歌的TPU、苹果的神经引擎、微软的FPGA,以及亚马逊正在为Alexa研发的定制AI芯片,英伟达还能保住它的龙头地位吗? 亚马逊目前拥有超过450名拥有一定程度的芯片经验的员工,该公司可能开发其他专业芯片。该报告还暗示,亚马逊可能正在为其云计算部门AWS开发AI处理器。 谷歌、苹果、微软都在研发取代GPU的方案 2016年初,谷歌透露,它正在研发被称为张量处理器(TPU)的定制AI芯片。 该芯片为TensorFlow奠定了基础,TensorFlow是用于训练该公司的AI系统的框架。 最新版本的TPU可以处理AI的训练和推理阶段。 随着iPhone 8和iPhone X的发布,苹果开发了一种神经引擎,作为其新的A11仿生芯片的一部分,该芯片是一款可在本地处理多种AI功能的先进处理器。