向量数据库,正是计算机记忆体一般的存在。AI 2.0时代,一度落寞的向量数据库又一次站在技术最前沿,成为数据库厂商竞相投入研发的对象。 作为一个超级记忆体,向量数据库可以解决大模型预训练成本高、无长期记忆、知识更新不足的问题,突破大模型在时间上、空间上的限制,加速大模型落地于行业场景。
AGI 时代的到来,让 Zilliz 的身上多了很多充满“时代烙印”的标签:未来独角兽、网红赛道公司、向量数据库大佬、大模型的长期记忆体、RAG 最强搭档……与此同时,我们也听说了一些有趣的标签:周边质量好 首先,七月份在一次公开活动中,来自 Zilliz 运营负责人李晨分享的《向量数据库:大模型的长期记忆体》让我对于 Zilliz 有了偶然相识的机会,其中印象最深的是 Zilliz 创业这么多年,只专注于向量数据库
它其实是视频模型的「概念记忆体」(conceptual memory buffer), 所有后续画面引用的视觉实体,都被它默默储存在这一帧里。 这项工作来自 UMD、USC、MIT 的研究团队。 因为它证明了一件极具革命性的事: → 首帧本身就具备「概念记忆体」的角色 → 视频模型天生可以做多对象融合 → 关键只是缺乏一个「触发机制」 FFGo 做的就是: 用几十条样本 一个精心设计的转场标记( 它提出了一个极具启发性的未来方向: 更聪明地使用模型,而不是更暴力地训练模型 用更少的数据、更轻的微调,获得更强的定制能力 把「首帧作为概念记忆体」变成视频生成的新范式 最后总结 第一帧不是起点
文章篇幅稍长,若对AIAgent记忆体建设感兴趣,不妨耐心看完,也欢迎三连转发。 核心原因很简单:即便我并非专业开发人员,也希望深度拆解OpenClaw的底层运行机制,尤其是记忆体的设计与实现逻辑。 从当下的行业现状来看,AIAgent的发展仍处于相对粗放的初级阶段,绝大多数产品的记忆体设计,要么停留在简单的文件存储层面,要么是向量与文本的生硬拼接,尚未形成符合AI智能进化的记忆体系。 而记忆体,正是推动AIAgent从“粗放”走向“精细”的核心抓手。 OpenClaw作为一款开源的AIAgent框架,其记忆体的探索与改造,正是这一赛道上的一次重要实践,而这一实践的成果,也将为整个AIAgent行业的记忆体设计提供有价值的参考。
将我从2006年到2022年2000多篇原创文章投喂给AI大模型,让AI基于时间线索重新梳理我个人的思维记忆体,个人的学习成长和实践历程。 这个也是我经常强调的,如果要让AI成为你的个人第二大脑。 经过2天的训练,已经完成了从2006年到2022年的记忆体训练,形成了约15万字的详细文档记录。今天分享一个高度浓缩版本,供大家参考。 人月聊IT · 个人思维记忆体 思维记忆体 v17.0 · 覆盖年份 2006–2022 · 原创文章约 2050 篇IT架构师 · 思维方法论原创输出者 · 长期主义践行者 一、从铁道到IT:一段不寻常的知识迁移之旅 本文基于个人思维记忆体 v17.0 整理,覆盖 2006–2022 年。 持续更新,与知识同行。 注:等训练完成后将提供完整的pdf文件供大家参考学习。
上图所示为一个循环核,循环核中部拥有多个记忆体,可以指定记忆体的个数,改变记忆容量。 当记忆体的个数被限定,输入数据x、输出数据y的维度被确定,则循环核的三组参数(Wxy、Whh、Why)维度也就确定了。记忆体内存储着每个时刻的状态信息ht。 以上两式是ht与yt的计算过程。 其中每个循环核的记忆体的个数是根据需求任意指定的。 2.循环网络的计算过程 2.1单个字母预测 本章以字母序列预测为例,深入详细探讨循环神经网络的计算过程。 首先使用独热码对字母进行编码,并随机生成三个参数矩阵,选择记忆体的个数为3. 通过记忆体个数,输入数据维度,输出数据维度,确定参数矩阵的维度: 一个字母一个字母输入做计算。 2.2多个字母预测 连续输入四个字母,预测下一个字母,因此时间步为4,按时间步展开,依次输入每个字母,计算ht,更新记忆体的记忆,直到第四步,计算yt,得到预测结果。
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND USER: 行程拥有者 PID: pid %CPU: 占用的 CPU 使用率 %MEM: 占用的记忆体使用率 VSZ: 占用的虚拟记忆体大小 RSS: 占用的记忆体大小 TTY: 终端的次要装置号码 (minor device number of tty) STAT: 该行程的状态: D: 无法中断的休眠状态 (通常 IO 的进程) R: 正在执行中 S: 静止状态 T: 暂停执行 Z: 不存在但暂时无法消除 W: 没有足够的记忆体分页可分配 <: 高优先序的行程 N: 低优先序的行程 L: 有记忆体分页分配并锁在记忆体内
TTY STAT START TIME COMMAND D: 无法中断的休眠状态 (通常 IO 的进程) R: 正在执行中 S: 静止状态 T: 暂停执行 Z: 不存在但暂时无法消除 W: 没有足够的记忆体分页可分配 <: 高优先序的行程 N: 低优先序的行程 L: 有记忆体分页分配并锁在记忆体内 (实时系统或捱A I/O) USER: 行程拥有者 PID: pid %CPU: 占用的 CPU 使用率 %MEM: 占用的记忆体使用率 VSZ: 占用的虚拟记忆体大小 RSS: 占用的记忆体大小 TTY: 终端的次要装置号码 (minor device number of tty) STAT: 该行程的状态: START
相较于现行的InFO(整合扇出封装)采用PoP(Package on Package)垂直堆叠方式,将记忆体直接置于处理器上方,并采用Chip First 制程在晶片上生成RDL(重布线层),再将记忆体封装于上层 InFO 的优势是整合度高,但随着AI 应用带动记忆体容量需求大幅增加,记忆体模组叠得越高,封装厚度与制作难度都显著上升,同时SoC 功耗提升也使散热变得困难。
4、调整快取(Cache)记忆体 IIS 5.0将静态的网页资料暂存於快取(Cache)记忆体当中;IIS 4.0则将静态的网页资料暂存於档案当中。 调整快取(Cache)记忆体的保存档案数量可以改善执行效率。 ASP指令文档执行过後,会在暂存於快取(Cache)记忆体中以提高执行效能。 添加快取记忆体的保存文档数量,可提高Active Server Pages之效能。 可以设定所有在整个IIS电脑、「独立」Web站台、或「独立」应用程式上执行之应用程式的快取记忆体档案数量。 於 [内容] 之 [主目录]、[虚拟目录] 页,按下 [设定] 按钮时,即可由[处理程序选项] 页设定 [指令档快取记忆体] 。 如何设定快取(Cache)记忆体档案数量呢? IIS 5.0将静态的网页资料暂存於快取(Cache)记忆体当中;IIS 4.0则将静态的网页资料暂存於档案当中。调整快取(Cache)记忆体的保存档案数量可以改善执行效率。
D: (down)不可中断的静止,睡眠状态(信号量就会使进程睡眠) R: (run)正在执行中 S: (static)静止状态 T: 暂停执行 Z: 不存在但暂时无法消除 W: 没有足够的记忆体分页可分配 <: 高优先序的行程 N: 低优先序的行程 L: 有记忆体分页分配并锁在记忆体内 (即时系统或捱A I/O) COMMAND 所执行的指令 (其中-sh 进程就是用来回显的,也就是说,我们在终端
世界半导体贸易统计组织(WSTS) 发布2022年8月最新半导体市场预测,由于消费性电子终端需求疲弱,导致记忆体价格下跌、产值缩水,加上记忆体市场成长动能趋缓,预估今年全球半导体市场成长率将由原来的16.3% 随着动态随机存取记忆体(DRAM)及储存型快闪记忆体(NAND Flash)供给过剩,价格走跌,今年下半年价格恐将持续走跌,因此,WSTS原本预估今年全球记忆体市场产值年增率达18.7%,明年再成长3.4% ,大幅下修今年全球记忆体市场产值年增率为8.2%,明年下修至0.6%。 混合模拟数位IC当道,模拟芯片市场的「4个最」 IC市场又可分为四大产品别:模拟、逻辑、记忆体和微型元件,近两年芯片短缺潮中最短缺的是模拟和电源管理芯片。 工研院电子与光电系统研究所所长张世杰指出,如今已经没有纯粹的数位IC或模拟IC,多是混和模拟数位IC,但还是存在纯粹的记忆体IC,如Flash、Dram,只能区分数位导向设计IC,以制程微缩达到面积、速度
.Algorithm Gossip: 稀疏矩阵 说明 如果在矩阵中,多数的元素并没有资料,称此矩阵为稀疏矩阵(sparse matrix), 由于矩阵在程式中常使用二维阵列表示,二维阵列的大小与使用的记忆体空间成正比 ,如果多数的元素没有资料,则会造成记忆体空间的浪费,为 此,必须设计稀疏矩阵的阵列储存方式,利用较少的记忆体空间储存完整的矩阵资讯。 5 6 4 阵列的第二列起,记录其位置的列索引、行索引与储存值: 1 1 3 2 3 6 3 2 9 4 4 12 所以原本要用30个元素储存的矩阵资讯,现在只使用了15个元素来储存,节省了不少记忆体的使用
CoWoS 技术概念,简单来说是先将半导体芯片(像是处理器、记忆体等),一同放在硅中介层上,再透过Chip on Wafer(CoW)的封装制程连接至底层基板上。 相较于2.5D 封装,3D 封装的原理是在芯片制作电晶体(CMOS)结构,并且直接使用硅穿孔来连结上下不同芯片的电子讯号,以直接将记忆体或其他芯片垂直堆叠在上面。 也就是说,首度把芯片堆叠从传统的被动硅中介层与堆叠记忆体,扩展到高效能逻辑产品,如CPU、绘图与AI 处理器等。 以往堆叠仅用于记忆体,现在采用异构堆叠于堆叠以往仅用于记忆体,现在采用异构堆叠,让记忆体及运算芯片能以不同组合堆叠。 另外,英特尔还研发3 项全新技术,分别为Co-EMIB、ODI 和MDIO。 Co-EMIB 能连接更高的运算性能和能力,并能够让两个或多个Foveros 元件互连,设计人员还能够以非常高的频宽和非常低的功耗连接模拟器、记忆体和其他模组。
由于 C/C++、Java等的记忆体配置方式都是以列为主,所以您可能会比较熟悉前者(Fortran的记忆体配置方式是以行为主)。 在C/C++中若使用到指标时,会遇到指标运算与记忆体空间位址的处理问题,此时也是用到这边的公式,不过必须在每一个项上乘上资料型态的记忆体大小。
bit 电脑记忆体中最小的单位,在二进位电脑系统中,每一bit 可以代表0 或 1 的数位讯号。 %&+-*/),是记忆体储存资料的基本单位,至於每个中文字则须要两Bytes。 当记忆体容量过大时,位元组这个单位就不够用,因此就有千位元组的单位KB出现,以下乃个记忆体计算单位之间的相关性: 1 Byte = 8 Bits 1 KB = 1024 Bytes 1 MB = 1024
比特 bit bit 电脑记忆体中最小的单位,在二进位电脑系统中,每一bit 可以代表0 或 1 的数位讯号。 %&+-*/),是记忆体储 存资料的基本单位,至於每个中文字则须要两Bytes。 二、计算公式 当记忆体容量过大时,位元组这个单位就不够用,因此就有千位元组的单位 KB 出现,以下乃个记忆体计算单位之间的相关性: 1 Byte = 8 Bits 1 KB = 1024 Bytes 再者
三、SDIO内部的记忆体映射 SDIO记忆卡内部具有固定的记忆体映射,这包含暂存器空间或称为「一般资讯区域(common information area;CIA)」,以及特殊功能区域(function 附图二是具有许多种不同功能的SDIO记忆卡内部的固定记忆体映射空间。其中,RFU是「保留给未来使用(Reserved for Future Use)」的意思。 基本功能暂存器(Function Basic Register;FBR):每一个I/O功能具有256 bytes的记忆体空间,这使得SDIO主机能够快速地判定每一个I/O功能的能力和要求,并启动韧体下载功能 图三 SDIO固定记忆体映射空间 此外,由于SDIO记忆卡的每一个功能可能需要包含额外的记忆体空间,用来储存驱动程式或应用程式。 图四 SD的记忆体映射空间 SMC是「静态记忆体控制器(Static Memory Controller)」、BFC是「暴量传输的(burst)FLASH控制器(Burst Flash Controller
fmt.Println("delete value ok", string(vv), string(k)) } } } 拓展: FAST Cache,即高速缓冲存储器,其原始意义是指存取速度比一般随机存取记忆体 (RAM)来得快的一种RAM,一般而言它不像系统主记忆体那样使用DRAM技术,而使用昂贵但较快速的SRAM技术,也有快取记忆体的名称。
bit 电脑记忆体中最小的单位,在二进位电脑系统中,每一bit 可以代表0 或 1 的数位讯号。 %&+-*/),是记忆体储存资料的基本单位,至於每个中文字则须要两Bytes。 当记忆体容量过大时,位元组这个单位就不够用,因此就有千位元组的单位KB出现,以下乃个记忆体计算单位之间的相关性: 1 Byte = 8 Bits 1 KB = 1024 Bytes 1 MB = 1024