前两天听AI芯片的报告,有位教授提到了基于忆阻器的AI芯片,今早刚好DeepTech深科技里报道了密歇根大学在这方面的进展(基于忆阻器的AI芯片)。 借此机会,小豆芽搜集了下相关资料,深入了解下忆阻器。 忆阻器,英文名为memristor, 该单词由memory+resistor各取一半构成,其同时具备电阻和存储的性能。 忆阻器由于存在电荷记忆功能,因此受到了广泛关注。 典型的基于memristor的神经网络结构为crossbar结构,如下图所示, ? 通过配置忆阻器的阻值,crossbar结构可实现矩阵的乘法运算。 以上是对忆阻器的简单介绍,认识比较肤浅,欢迎大家指正! ---- 参考文献: D. Status Solidi A 215, 1700875(2018) 刘东青,“忆阻器及其阻变机理研究进展”
在这里,我们展示了基于SrTiO3的基于忆阻器纳米器件,这些器件天生模拟了所有这些突触功能。这些忆阻器工作在非丝状、低电导区域,这使得它们能够稳定且高效地运行。 关键词:STO忆阻器、非丝状、忆阻器动态、多功能突触、短期可塑性、长期可塑性、生物启发式计算 1 简介 生物神经网络(BNNs)已被用作当今最成功的人工神经网络(ANNs)的灵感来源。 此外,我们证明了具有长时间尺度的短期权重,例如我们的忆阻器所表现出的权重,对于网络的稳健和快速训练是必需的。最后,我们比较了纯GPU实现突触的网络能量消耗与我们的忆阻器突触估计能量消耗。 2 单忆阻器中的多功能突触行为 我们在STO单晶衬底上制备了一个多功能忆阻器突触(见图1d)。首先,我们沉积了一个具有高功函数的接触层(Pt,下面带有一层Cr粘附层)。 图2 多功能忆阻器突触的直流和动态行为。a) 制备的Cr/Pt-STO-Ti忆阻器的电导率与电压特性。黑色箭头表示逆时针切换方向。b) 设备堆栈的示意图及其基础切换机制。
早期,忆阻器理论还没有出现,忆阻器典型 I-V 特征曲线被科研人员在 Ti O2、SiO2 等薄膜制备的三明治结构中观测到,但是没人知道这是什么现象。 数学模型在探讨忆阻器的工作原理时,我们不能忽视其数学描述的重要性。忆阻器的行为可以通过一组微分方程来精确刻画,反映了其独特的非线性特性。 根据形成导电细丝的机制,可分为:氧空位细丝型忆阻器金属细丝型忆阻器垂直结构 :这种结构通过将活性层垂直排列来提高集成度。例如,基于CH3NH3PbI3(MAPbI3或OHP)的垂直结构忆阻器。 光电忆阻器 :这类特殊结构的忆阻器结合了光电效应和阻变效应,实现了光控阻值调节。例如,基于二氧化铪(HfO2)和ZnO1-x/AlOy异质结的光电忆阻器。 该系统利用动态忆阻器阵列实现并行储备池层,通过非易失性忆阻器阵列实现读出层,展示了在实时处理时空信号方面的优势 。
新型的忆阻器包括磁效应忆阻器 、相变效应忆 阻器和阻变效应忆阻器等。 其中 ,阻变效应忆阻器 包含了基于阴离子的氧空位通道型阻变忆阻器和基 于阳离子型的导电桥型忆阻器(conductive bridging RAM, CBRAM)两类。 二.忆阻器的分类 1.磁效应忆阻器 磁效应忆阻器是一种利用磁场对电阻状态进行控制的忆阻器。它通常由磁性材料和电极组成,通过改变磁场的强度或方向来改变忆阻器的电阻值。 此外,磁效应忆阻器的工作原理还可以与其他电子元件相结合,例如晶体管、电容器等,以实现更复杂的电路和功能。 2 .相变效应忆阻器 相变效应忆阻器是一种利用材料的相变来实现电阻变化的忆阻器。 三.基于忆阻器的存内计算原理 1. 利用二值忆阻器的布尔计算 忆阻器可以通过互连线直接访问和反复编程,这便于实现基于忆阻器的布尔运算。
据英国《每日邮报》网站近日报道,美国密歇根大学的科学家设计出一种由忆阻器制成的新型神经网络系统——储备池计算系统,它可以教机器像人类一样思考,并显著提升效率。 此前科学家曾用更大的光学元件创建出储备池计算系统,但电气工程和计算机科学教授卢伟(音译)率领的团队使用忆阻器创建的新系统所需空间更小,也更容易集成到现有的硅基电子设备中。 忆阻器是既可执行逻辑运算,又可存储数据的特殊电阻设备,在最新研究中,卢伟团队使用了一种特殊的忆阻器。 神经网络由神经元(节点)、突触(节点之间的联系)组成。 但他们通过忆阻器制造出的储备池计算系统,可避免大多数的昂贵训练过程,也为网络提供了记忆能力,这是因为系统最关键的组件——储备池无需训练。 团队采用手写识别测试(神经网络常用的基准)来验证储备池计算概念,结果表明,他们仅使用88个忆阻器做节点,就可以分辨数字的手写版本,且储备池的精准度高达91%;而传统神经网络需要几千个节点。
贝叶斯推理可以解决这些问题,但它的计算成本很高,而且与神经网络不同,它不会自然地转化为基于忆阻器的架构。 在此,研究人员提出了一个可以在硬件中完全实现的基于忆阻器的贝叶斯系统。 他们制造了一个原型电路,它使用混合互补金属氧化物半导体(CMOS)/忆阻器工艺在同一芯片上集成了 2,048 个忆阻器和 30,080 个晶体管。 图示:贝叶斯机器的一般架构。 氧化铪忆阻器制造在 CMOS 铸造层的顶部。 图示:制造的基于忆阻器的贝叶斯机。 因此,我们同时致力于新技术,下一代忆阻器。」
记忆态存储显威能 这项技术的关键是忆阻器(“记忆”和“电阻”的结合),其电阻变化取决于电荷流动的方向。 传统晶体管是依赖电子和空穴在半导体材料中的漂移和扩散,忆阻器运作则以离子为基础,与人类神经细胞产生神经电信号的方式类似。 斯塔科夫说:“记忆态的存储是一种特殊的瑕疵浓度分布的形式,能在忆阻器内来回运动。”与纯粹的电子存储器相比,离子记忆机制有许多优势,更适合用在人工神经网络中。 而基于忆阻器的技术是受生物大脑的启发,以另一种完全不同的方式来执行计算。” 目前,研究人员还在继续提高忆阻器的性能,升级线路复杂程度,增加人工神经网络的功能。
导读 美国密歇根大学开发出由忆阻器制成的神经网络系统,也称为储备池计算系统。它教会机器像人类一样思考,并显著提升效率。 而忆阻器的学习能力,正是基于这种可调整的电阻。 也许,许多朋友不禁要问:什么是忆阻器呢? 顾名思义,忆阻器与记忆以及电阻都有关系,最早提出忆阻器概念的人,是任教于美国柏克莱大学的华裔科学家蔡少棠,时间是 1971 年。 (图片来源:维基百科) 忆阻器的电阻会随着通过的电流量而改变,而且就算电路断电,电流停止了,它的电阻值仍然会被保留,直到有反向电流通过才会返回原状。忆阻器是一种有记忆功能的非线性电阻。 (图片来源:维基百科) 在普通的计算机系统中,负责逻辑运算的处理器独立于存储模块。然而,忆阻器不同于普通的计算机系统,它不仅可以用于存储数据,还可以实现逻辑计算。
存内计算技术 新型的忆阻器包括磁效应忆阻器 、相变效应忆 阻器和阻变效应忆阻器等。 其中 ,阻变效应忆阻器 包含了基于阴离子的氧空位通道型阻变忆阻器和基 于阳离子型的导电桥型忆阻器(conductive bridging RAM, CBRAM)两类。 基于忆阻器的存内计算原理 基于忆阻器实现的存内计算可以分为几个方 面:利用二值忆阻器的逻辑运算 、利用模拟型忆阻器 的模拟计算和其他类型的存内计算。下面主要介绍 非挥发布尔运算和模拟计算的原理 。 2.1 利用二值忆阻器的布尔计算 忆阻器可以通过互连线直接访问和反复编程,这便于实现基于忆阻器的布尔运算。 结论 概述了基于忆阻器的存内计算技术 ,包括磁效应忆阻器 、相变效应忆阻器和阻变效应忆阻器等 3 类忆阻器的工作机理和特性。
新器件结合了电阻、电容和 Mott 忆阻。最关键的部分是纳米级薄度的 NbO2 层。 它在同一个器件上结合了电阻、电容和所谓的 Mott 忆阻器。忆阻器是一种以电阻的形式保存流过它们的电流的存储器。 Mott 忆阻器还有一个附加功能,即能够反映受温度影响下的电阻变化。Mott 转换中的材料根据其温度在绝缘和导电之间转换。 该转换发生在忆阻器中的纳米级氧化铌条中。当施加电压时,NbO2 会轻微发热,使其从绝缘变为可导电。一旦发生这种转换,电容中累积的电荷就会流过。然后,设备冷却到刚好足以触发转回绝缘状态。 根据 Kumar 的说法,忆阻器发明者 Leon Chua 预测,如果设置出可能的器件参数,则行为稳定的区域之间将存在行为混乱的区域。在某些混乱区域的边缘,可能存在执行新的人造神经元功能的器件。 ?
与仅通过数学模型模拟大脑活动的数字处理器或早期神经形态芯片不同,这些新神经元在物理层面上重现了真实神经元的运作方式。 团队的新方法核心在于一种名为“扩散忆阻器”的器件。他们的研究结果描述了这些组件如何催生新一代芯片,这些芯片既能补充也能增强传统的硅基电子技术。 硅基系统依赖电子进行计算,而某教授的扩散忆阻器则利用原子的运动,创造了一个更接近生物神经元传递信息方式的过程。 这种能够实现类脑芯片的新器件被称为“扩散忆阻器”,得名于离子运动以及使用银时发生的动态扩散。 扩散忆阻器在能量和尺寸上都很高效。一部典型的智能手机可能包含大约十个芯片,每个芯片有数十亿个晶体管通过开关来执行计算。“取而代之(通过这项创新),我们每个神经元只使用一个晶体管的面积。
英国南安普敦大学的一项新研究发现,一种纳米级忆阻器可以为模拟人脑的人工智能系统提供有力支持。 人工神经网络具有学习能力并可完成传统计算机很难执行的任务,如模式识别、在线学习与分类。 忆阻器是限制或调节电路中电流流动的电子元件,即使未通电也能记住流经忆阻器的电荷量并保存数据。 忆阻器支持学习型突触的许多基本功能(记忆存储、在线学习、学习规则的实现、二端结构),且体积紧凑、耗电量极低,从而为实现目标提供了一条可能的途径。若想让人工大脑成为现实,就必须开发出忆阻性突触。 该研究表明,忆阻器能够在无任何人为干预的情况下独立适应其所在的环境,并且在实时处理噪声数据时也展示了很高的弹性和可靠性。 这种新型硬件可广泛应用于各种普适传感技术,可为在恶劣或无法进入的环境下进行实时监测提供动力支持;研究还指出,忆阻器的发展能够使物联网的发展愿景成为可能。
清华大学研发的基于忆阻器阵列的脑电信号处理系统正在测试中。图片由清华大学提供 脑机接口技术作为信息科学与神经科学等多学科交叉融合的前沿领域,在康复医学、医疗电子等领域得到了广泛关注与应用。 来自清华大学的科研团队提出基于忆阻器阵列的新型脑机接口,相关研究成果日前在线发表于《nature communications》。 ? 清华大学微纳电子系、未来芯片技术高精尖创新中心的钱鹤、吴华强教授团队与医学院洪波教授团队利用忆阻器的仿生与存算一体特性,合作提出了基于忆阻器阵列的新型脑机接口,构建了高效智能的脑电神经信号处理系统。 吴华强介绍,忆阻器是一种新型信息处理器件,其工作机理与人脑中的神经突触、神经元等具有一定的相似性,基于忆阻器的神经形态计算可以突破传统计算架构,在实现高并行度的同时显著降低功耗。
基于忆阻器的神经形态计算系统为神经网络训练提供了一种快速节能的方法。但是,最重要的图像识别模型之一——卷积神经网络还没有利用忆阻器交叉阵列的完全硬件实现。 最近的研究报告了双层和三层忆阻器感知器在 MNIST 手写数字数据集上的图像识别结果。但是,没有一个 CNN 是在完全基于忆阻器的硬件系统中实现的。 基于忆阻器的实用神经形态计算系统通常需要集成多个忆阻器交叉阵列。一般来说,将权重分配到不同阵列有利于并行计算,尤其是对于网络规模扩大的情形。 每个 PE 具备集成了 2048 个单元的忆阻器阵列。每个忆阻器与晶体管的漏级端相连,即 1T1R 配置。核心 PCB 子系统具备八个忆阻器阵列芯片,如图 1b 所示。 图 4:使用混合训练方法得到的并行忆阻器卷积器,可以提升卷积效率。 a:使用混合训练方法的硬件系统操作流程图,其为并行忆阻器卷积器调节不完美的设备特性。
关键在它:人类历史上,第一个可编程忆阻器计算机。 不仅仅是通过外部计算机操作的忆阻器阵列,密歇根大学开发的这个可编程忆阻器计算机,可以直接在小型、能量受限的设备(如智能手机和传感器)上处理人工智能任务。 每个人都希望在智能手机上安装AI处理器,但你肯定不希望手机一天充电12次。 为什么忆阻器有利于机器学习 这里提到的忆阻器的高级计算机组件,是具有存储器、可变电阻的电阻器,可用作信息存储。 忆阻器阵列则更进一步,每个忆阻器都能够独立进行计算,一个内核里可以一次性执行数千次操作。 本次用于实验的计算机拥有超过5800个忆阻器。而用于商业的话,可能包括数百万个。 ? 构建可编程忆阻器计算机 为了构建第一台可编程忆阻器计算机,Lu的团队与U-M的电子和计算机工程副教授Zhengya Zhang和Michael Flynn教授一起设计了一个芯片,可以将忆阻器阵列与编程和运行所需的所有其他元件集成在一起
王智刚教授多年来致力于基于忆阻器的能够模拟人类大脑的深度学习机器研究,希望打造一个由神经元和忆阻器突触构成的神经网络计算机。 根据他的设想,忆阻器相当于大脑内的突触,处理器相当于神经元细胞。 自此,在忆阻器被提出 37 年之后,重新引起了忆感器方向上的研究热潮。 事实上,惠普实验室所制作的忆阻器与蔡少棠教授所预测的忆阻器还是存在一些差异的。 但在蔡少棠看来,惠普所制造的忆阻器在外部行为上表现为电压和电流二者之间关系,虽然没有 Φ 和 q 数学量,但是可以实现忆阻器应有的功能,还是应该视为忆阻器。 用忆阻器制作下一代存储器——这种存储器非常简单,仅仅需要水平坐标 x 和垂直坐标 y,中间用导线连着忆阻器。 忆阻器存储器相对于晶体管存储器的优势在于其密度大,集成度高,结构简单,而且忆阻器不会挥发。我们预测,有望利用忆阻器制造下一代计算机器——神经网络计算机 。
,有望改善此难题:他们设计了多记忆突触结构(multi-memristive synaptic architecture),能够在不增加功率密度的情况下提高突触的精度,并在一个拥有100多万台相变存储器( 此处使用一个最大值等于(表示一个突触的)设备数量的全局选择计数器。在任何突触更新的情况下,被选择计数器指向的设备将被编程。随后,选择计数器增加一个固定的量。 除了选择计数器之外,设置独立的增强计数器和衰减计数器用来控制增强或衰减事件发生的频率。 基于PCM设备的多记忆突触 ? 基于相变存储器(PCM)的突触 a.PCM器件由夹在顶部和底部电极之间的相变材料层组成。
新器件方面主要研究的是忆阻器,它的特点是可以多比特,同时非易失,即把电去掉可以保持阻值,并且它速度很快。 基于忆阻器的存算一体技术可以分为三个阶段:第一个阶段是单个器件的发展阶段。 2008年惠普实验室的Stan William教授首次在实验室制备了忆阻器,之后美国密西根大学的卢伟教授提出了电子突触概念,美国UCSB大学的谢源教授提出了基于忆阻器的PRIME存算一体架构,引起广泛关注 另外,人工智能更关注系统准确性,而不是每个器件的精度,这特别符合忆阻器和模拟计算的特点。 我们还和毕国强老师合作了一篇综述文章。 以前是晶体管加布尔逻辑加冯·诺依曼架构,现在是模拟型忆阻器加模拟计算和存算一体的非冯架构。
忆阻器(Memristor,全称记忆电阻器)阵列芯片插入定制的计算机芯片,第一台可编程的忆阻器计算机就此诞生。该研究团队证明了忆阻器计算机可以运行三种标准的机器学习算法。 何为忆阻器? 实现可编程忆阻器计算机的关键可能是忆阻器的高级计算机组件。 那什么是忆阻器呢?简单来说,这是一个带有存储功能的电阻器,它有着可变电阻,可以作为信息存储的一种方式。 因为这样的组件会“记住”之前的电流量,因此被称为忆阻器。 忆阻器为何有利于机器学习? 由于忆阻器尺寸小、能耗低,所以能很好地储存和处理信息,一个忆阻器的工作量相当于一枚 CPU 芯片中十几个晶体管共同产生的效用。 ,可以将忆阻器阵列与编程及运行所需的所有其余组件集成在一起,这些组件包括一个传统的数字处理器和通信通道,以及数字与模拟信号的转换器,作为模拟忆阻器阵列和计算机其余部分之间的解释器。
忆阻器(memristor)是一种能够模拟存在于神经突触中的钙离子行为的电子元件,它有可能导致类脑计算机出现重大进展。 通过将银纳米粒子簇嵌入两个电极间的氮氧化硅膜,Yang的团队制造出了一种新的扩散式忆阻器(diffusive memristor)。 该扩散式忆阻器也可以与漂移忆阻器(drift memristor)结合使用,后者依赖于电场,并针对存储应用进行了优化。 Yang教授表示,扩散忆阻器能够帮助漂移型忆阻器以类似于真正神经突触的方式运作。 将这两种忆阻器结合,可以获得一个关于“尖峰时刻相关可塑性”的自然展示,这是一种非常重要的长期可塑性学习规则。Yang的团队采用了与存储公司现有工艺相似的制造工艺来扩大忆阻器生产规模。 虽然理论上该忆阻器的体积可以小于人类的神经突触,但实际系统往往需要更大的忆阻器。