首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >IBM:数据为王,文件系统将何去何从?

IBM:数据为王,文件系统将何去何从?

作者头像
数据存储前沿技术
发布2026-03-09 17:29:47
发布2026-03-09 17:29:47
810
举报

阅读收获

  • 系统梳理从内核态、用户态到设备端的四种文件系统架构演进,精准定位不同方案解决的I/O核心痛点。
  • 洞察CXL、FPGA和AI负载如何重塑存储IO栈,理解“近数据计算”对未来数据中心架构的颠覆性影响。
  • 深入理解文件系统从“数据管理器”向“认知计算栈”演变的终极趋势,为前沿技术研究提供新思路。

全文概览

随着NVMe SSD和持久内存等高速介质的普及,传统以CPU为中心的存储I/O栈正成为性能瓶颈。为了绕过内核、减少数据拷贝和上下文切换,业界探索了从用户态文件系统(UserFS)到设备端文件系统(DeviceFS)乃至计算下沉等多种优化路径。然而,当CXL、FPGA等新技术将算力推向存储边缘,AI负载的需求从“管理数据”转向“理解数据”时,我们不禁要问:那个作为软硬件桥梁、默默服务了数十年的文件系统,它的角色是否正在被解构?在以数据为中心的新世界里,文件系统还能幸存吗,抑或将以何种新形态重生?

👉 划线高亮 观点批注


图片的核心观点在于阐述文件系统作为“中间人”的关键角色

  1. 桥接硬件与软件
    • 左图展示了底层硬件(CPU、Cache、DRAM)处理数据的物理复杂性,涉及指令调度、缓存一致性和寄存器操作。
    • 右图展示了文件系统如何屏蔽这种复杂性。它位于用户应用程序和底层块设备(Block layer/Controller)之间。
  2. 抽象化管理
    • 文件系统的意义在于提供了一个抽象层。应用程序不需要知道数据在物理介质(Persistent memory)上的具体位置(如扇区、页),也不需要直接管理硬件控制器。
    • 应用程序只需与文件系统交互(读写文件),文件系统负责将这些逻辑请求转换为块层(Block layer)能理解的指令,并最终由控制器写入物理卷(FS volume)。
  3. 数据持久化的管理者
    • 对比左右两图,左图侧重于“计算过程”(数据如何在CPU和内存间周转),右图侧重于“IO栈”(数据如何安全、有序地流向持久化存储)。文件系统正是确保内存中的数据(User-space/Kernel-space)能够正确、持久地保存到非易失性存储设备中的核心组件。

图片的核心观点在于解构存储IO开销的本质并分类现有的解决方案

  1. 开销的本质:文件系统的开销主要源于CPU的数据搬运跨层级的上下文切换(左图所示的复杂路径)。
  2. 架构演进趋势:为了降低开销,行业主要探索了两个方向:
    • 向上移动 (UserFS):通过将FS逻辑移入用户态(User-space libraries)来旁路内核,减少系统调用开销。
    • 向下移动 (DeviceFS / Offloading):利用存储硬件越来越强的算力,将FS逻辑或数据处理逻辑下沉到设备固件(Firmware)中,减少主机CPU的负载和PCIe总线的数据传输量。

===

特性维度

1. KernelFS (内核态文件系统)

2. UserFS (用户态文件系统)

3. DeviceFS (设备端/固件文件系统)

4. Compute Offloading (计算卸载/近数据计算)

核心逻辑位置

OS Kernel (操作系统内核)

User Space (应用层库)

Storage Firmware (存储设备固件)

Kernel (管理) + Device (计算)

I/O 路径特征

App -> Kernel -> Storage

App -> Lib -> Storage (旁路内核)

App -> Lib/Kernel -> Firmware FS

App -> Kernel -> Data Processing

解决的核心痛点

通用性与硬件兼容性

系统调用 (Syscall) 开销、上下文切换

主机 CPU 负载、文件系统元数据管理开销

数据移动 (Data Movement) 开销、PCIe 带宽瓶颈

优势 (Pros)

1. 标准化,兼容所有 POSIX 应用 2. 安全性高,隔离性好 3. 技术最成熟

1. 消除内核陷入/上下文切换开销 2. 针对特定应用 (如 DB) 定制优化 3. 极低延迟

1. 彻底卸载文件系统逻辑,释放主机 CPU 2. 随着存储设备增加,算力线性扩展 3. 减少主机与设备间的交互次数

1. 大幅减少无效数据传输 (如过滤、压缩) 2. 节省内存带宽和 PCIe 带宽 3. 适合大数据扫描/分析场景

劣势/挑战 (Cons)

1. 上下文切换频繁 (User <-> Kernel) 2. 数据在用户态/内核态间多次拷贝 3. 对新型高速介质 (如 PMem) 可能是瓶颈

1. 应用隔离性较差 (Bug 可能损坏 FS) 2. 需要修改应用或链接特定库 3. 多进程共享数据较复杂

1. 依赖特定硬件 (SmartSSD/FPGA) 2. 固件开发难度大,难以调试 3. 标准化程度低

1. 编程模型复杂 (需定义卸载什么任务) 2. 通用性受限 (通常针对特定数据库或格式) 3. 硬件资源受限 (设备端算力不如 CPU)

代表案例 (来自PPT)

ext4-DAX, F2FS, NOVA

Strata, SplitFS, FSP

DevFS, Insider, CrossFS

PolarDB, Newport CSD, ScaleFlux


图片探讨了文件系统在新型硬件(CXL, FPGA)新型负载(AI) 冲击下的生存状态:

  1. 文件系统的定义在解构
    • 如果只是为了管理块设备(Block Device),它依然存在(YES),但可能会硬件化。
    • 如果是为了管理内存语义数据(Memory Semantic),它将演变为内存管理器(Maybe)。
    • 如果是为了高效计算(AI/Compute),它可能成为累赘而被彻底移除(NO)。
  2. 访问粒度的多样化
    • 从传统的 Logical Block(左图),演变为 64B/4K/Zone 混合粒度(中图),再到无粒度的语义计算(右图)。
  3. 计算重心的下移
    • 三幅图都隐含了一个趋势:计算能力(FPGA, Core, Compute-in-storage)正在不断向存储侧下沉,试图减少数据移动,这正是挑战传统“以CPU为中心的文件系统”的根本原因。

图片的核心观点是:文件系统将消亡,或者说被“认知计算栈”完全吞噬

  1. 从“管理数据”到“理解数据”
    • 传统的FS致力于“如何把数据存进去、取出来(How)”。
    • 未来的架构致力于“数据是什么、有什么价值(What & Why)”。通过认知计算和ML,存储系统直接处理数据的语义。
  2. 存储介质的觉醒 (Active & Thinking)
    • 通过使用 "Thinking memory" 和 "Active object" 这样的词汇,作者强调存储不再是被动的容器(Passive Container),而是变成了主动的计算节点。每个数据对象都是“活”的,能够自我处理、自我优化。
  3. 硬件定义的架构
    • 未来的存储栈将深度依赖硬件特性,如 NPU 加速和 存算分离(Disaggregated) 架构,软件(文件系统)的界限将变得非常模糊,最终融入到硬件加速的计算流中。

延伸思考

这次分享的内容就到这里了,或许以下几个问题,能够启发你更多的思考,欢迎留言,说说你的想法~

  1. 将文件系统逻辑下沉到硬件(DeviceFS)或实现计算卸载,虽然能释放主机CPU,但也带来了固件复杂性、编程模型和标准化的新挑战。你认为在通用计算市场,这条路径能否真正取代传统的内核文件系统,还是会长期作为特定场景的补充方案?
  2. 在AI驱动的“认知计算”模型下,存储系统开始“理解”数据语义,传统的文件和目录抽象似乎不再必要。对于应用开发者而言,这是一种解放还是一种负担?未来的数据访问接口会是什么样子?
  3. 从KernelFS到DeviceFS的演进,本质上是软硬件功能边界的重新划分。你认为在这场变革中,谁将成为主导力量——是CPU厂商、存储设备商,还是云服务巨头?

原文标题:Can file systems survive in data-centric world?[1]

Notice:Human's prompt, Datasets by Gemini-3-Pro

#FMS25 #文件系统

---【本文完】---

丰子恺-护生画集-我来施食尔垂钓

👇阅读原文,搜索🔍更多历史文章。


  1. https://files.futurememorystorage.com/proceedings/2025/20250805_COMP-101-1_Dubeyko.pdf ↩
本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2026-02-22,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 王知鱼 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档