凯哥 ｜ Spark 点火，湖仓起飞：Databricks 如何做成千亿美元“开源印钞机”？

欢迎大家关注“凯哥讲故事系列”公众号，我是史凯

给你最本质，最实战的数字化转型指南

引子

Spark 点火，湖仓起飞：Databricks 如何做成千亿美元“开源印钞机”？

• 这家公司不是 OpenAI，不卖“会聊天的大脑”；
• 也不是英伟达，不卖“会发热的显卡”；
• 它干的是一件更“土”的活——帮全世界企业把乱七八糟的数据，变成能喂 AI 的“粮仓 + 工厂”。

结果呢？

• 年化收入跑到 40 亿美金+，其中 AI 业务自己就能跑出 10 亿美金+ 的收入；
• 最新一轮融资给出的估值：1000 亿美金+——没上市，先把价格炒到了“准超级独角兽”的高度。

这套操作的名字，叫：Databricks。

如果你平时只听说过 Spark、湖仓（Lakehouse）、Delta Lake、MLflow，却没细想背后是谁在收钱——

今天凯哥就是来讲：这家公司是怎么从伯克利实验室的一段开源代码，一路走到“全球最成功的开源商业化公司之一”的。

一、一切从一间实验室和一段“嫌 Hadoop 太慢”的代码开始

故事要从 2009 年说起。

那时候的大数据圈子，正被 Hadoop MapReduce 统治——能跑，但慢得要命。 伯克利大学有个 AMPLab，整天研究“能不能把这一坨分布式计算搞快点”。

一个叫 Matei Zaharia 的博士生，受不了这种“转一圈结果还没出来”的感觉，就撸出了一套新的分布式计算引擎，取了个名字叫：Apache Spark。

Spark 干的事很简单粗暴：

“同样的数据集，别让我等一晚上，看在博士生的头发份上，能不能快一点？”

Spark 上线之后，很快在学术圈、互联网公司炸开了—— 比 MapReduce 快好多倍，特别适合那种一会儿批处理、一会儿流式、一会儿交互分析的复杂场景。

于是，第一块金手表诞生了：

• Spark 开源、捐给 Apache 基金会；
• 几年后成为全球最火的大数据引擎之一；
• Matei 靠这玩意拿了 ACM 博士论文奖，后来成了斯坦福副教授。

但问题来了： 代码好用 ≠ 公司能用。

很多企业发现：

“Spark 看着很香，但要自己搭集群、管资源、搞依赖、调优…… 还不如我再忍几年 Hadoop。”

这时候，Databricks 的机会就出现了。

二、七个学霸，不情愿创业，却被用户逼着开了公司

Spark 火了之后，AMPLab 那帮人突然发现： “全世界的数据工程师都在用我们写的代码，但我们自己还在领老师工资。”

几个关键人物站到了台前：

• Ali Ghodsi：伊朗出生，瑞典长大的分布式系统专家，后来成了 Databricks 的 CEO；
• Matei Zaharia：Spark 作者，技术灵魂人物；
• Ion Stoica：伯克利教授，AMPLab 带头人，搞分布式和网络那一挂的；
• 再加上 Reynold Xin、Patrick Wendell、Andy Konwinski、Arsalan Tavakoli 等人，凑成了七人创业小队。

按照福布斯的说法，这帮人一开始其实并不想创业，更不想搞什么赚钱大公司——他们更想做学术、发论文。

问题是，找上门来的用户不答应：

“你们这引擎挺好用， 能不能顺手帮我们搭个平台， 不要搞那么多配置文件和 shell 命令？”

于是 2013 年，他们把 Spark 团队从 AMPLab 一锅端出来， 在旧金山注册了一个公司，名字就叫：Databricks。

公司干的第一件事，很朴素：

“让别人用上 Spark，不至于骂娘。”

• 帮你管集群；
• 帮你搞 notebook；
• 帮你把 batch + streaming + ML 这些活儿放到同一个工作区；

这就是 Databricks 最早的产品形态。

大贵式旁白：

一句话翻译： “开源我送你， 但想省心，就来我这儿开会员。”

三、从“卖 Spark 托管”到“湖仓一体”：产品线是怎么长起来的？

如果 Databricks 只是帮人托管 Spark，这家公司大概值不了千亿美金。 真正让它进位的，是三件事：Delta Lake、Lakehouse、MLflow。

1. Delta Lake：给数据湖装一个“变速箱 + 安全带”

早期大数据有个经典问题：

• 数据湖便宜、能装，但不可靠、没事务、查起来慢；
• 数仓可靠、快，但贵、结构死板，搞 AI 又不方便。

Databricks 看着客户在这两头来回横跳，干脆搞了一个中间层：Delta Lake。

• 本质是一个开源存储层，基于 Parquet 再叠一层事务日志；
• 让数据湖也能支持 ACID 事务、Schema 变更、时间旅行、批流一体；

也就是说：

“你既可以像在数据湖那样便宜地往里倒数据， 又可以像在数仓那样，放心地查、改、算。”

这玩意现在已经被视为湖仓架构的关键组件之一，连 IBM、微软文档都在给它写介绍。

2. Lakehouse：把“湖”和“仓”合成一个新物种

有了 Delta Lake 这种底座，Databricks 又提炼出一个概念：“数据湖仓（Lakehouse）”。

官方定义大概是：

“把数据湖的灵活 + 成本优势， 和数仓的管理能力 + ACID 事务， 拼在一套统一架构里， 同时服务 BI 和 AI。”

互联网翻译版是：

“以前是两栋房子：仓库管报表，湖仓管原始数据。 现在是一栋大别墅：一层做数仓，地下一层当数据湖， 住在一起，便宜、好打扫，还能养个 AI。”

Lakehouse 这个词，已经从 Databricks 的营销词， 变成了整个行业的架构共识——连竞争对手都在用。

3. MLflow：给机器学习整个“流水线”

数据搞好了，AI 这边还有个大坑—— 训练、调参、上线、回滚、追溯，乱成一锅粥。

于是 Databricks 在 2018 年放出了另一个开源项目：MLflow。

它的定位很简单：

“帮你把模型从实验笔记本， 搬到可上线、可追溯、可回滚的生产系统里。”

今天 MLflow 已经变成了管理机器学习生命周期的事实标准之一， 很多云厂商（包括 Azure）都在用它来跑 ML 生命周期。

这三块拼在一起，就形成了 Databricks 经典的一句 Slogan：

“Data + AI Company”—— 不是只卖数据库，也不是只卖模型， 而是卖“一整套把数据喂给 AI 的流水线”。

四、创始人和团队：一群“把论文写成公司”的人

Databricks 比较有意思的是，创始人全是学术圈重型选手，但最后却把公司做成了商业化教科书。

1. Ali Ghodsi：从难民小孩到千亿美金 CEO

• 出生在伊朗，小时候随家人逃到瑞典；
• 读书一路读到 KTH 博士，研究分布式系统，搞过 Mesos 等项目；
• 2009 年去伯克利做访问学者，加入 AMPLab，和大家一起搞 Spark；

福布斯写他的时候，用的是“Accidental Billionaires（意外的亿万富翁）”： 这帮人本来只想写论文，结果被用户和资本一路推着，从开源项目走到了 1000 亿美金估值。

2016 年他接任 CEO 之后，做了几件非常“外科手术式”的事：

• 把“纯免费开源”转成“开源 + 付费企业版”；
• 在资本催着要盈利时，控制成本、优化效率，但没搞大裁员，而是让工程师写内部 AI 机器人（比如叫 R2-D2 的那个）提高生产率；
• 一边控成本，一边大手笔收购 MosaicML、Tabular 这类 AI 和开源核心资产。

大贵式点评：

很多公司是“技术好但 CEO 不懂”， Databricks 则是“CEO 自己就是搞分布式系统的”。 这就解释了，为什么它能在开源、云平台、AI 这三条线同时较劲，还没翻车。

2. Matei Zaharia & Ion Stoica：学术界双核，工业界外挂

• Matei Zaharia：Spark 之父，Databricks 联合创始人兼 CTO，一边在公司搞产品，一边在 MIT/斯坦福教书。
• Ion Stoica：伯克利教授，Databricks 执行董事长，分布式系统老炮，AMPLab 的灵魂人物之一。

这种“双重身份”的好处是：

• 能把前沿研究（论文里那种）第一时间变成产品特性；
• 也能把一线客户的痛点，反向当成下一代研究的选题。

再配上那几位做工程与产品落地的联合创始人——Reynold Xin、Patrick Wendell 等， Databricks 的基因基本写死成一句话：

“把分布式系统论文，写成能赚钱的云服务。”

五、关键时间线：几次明显“进位”的节点

如果把 Databricks 的发展拆成几个关键台阶，看起来大概是这样：

1. 台阶一：从 AMPLab 走向云平台（2013–2017）

• 2013：公司成立，把 Spark 做成托管服务。
• 2017：和微软深度合作，上线 Azure Databricks，相当于成了 Azure 自带的一等公民大数据 / AI 平台。

这一步解决的是：“谁来托底”—— 用户不再需要自己搭 Spark，直接在云上点点鼠标就能开工。

2. 台阶二：从大数据平台，到“湖仓一体”（2018–2021）

• 推出 Delta Lake、MLflow，提出 Lakehouse 架构，开始强调“Data + AI”；
• 2020–2022 年间，Lakehouse 通过 FedRAMP 等认证，可以进美国政府、严肃行业用。

这一阶段，Databricks 从“跑 Spark 的地方”， 进化成了很多企业心中的 “统一数据与 AI 平台”。

3. 台阶三：All in AI + 收购 MosaicML & Tabular（2023–2025）

• 2023 年，宣布以 13 亿美金 收购生成式 AI 平台 MosaicML，把对开源大模型（MPT 系列）的控制权收入麾下。
• 2024–2025 年间，又以约 20 亿美金 拿下开源数据表格项目 Tabular，硬生生从 Snowflake 手里抢过来。

同时：

• 2024 年底，估值 620 亿美金，收入跑到 26 亿美金左右；
• 2025 年中，年化收入奔着 40 亿美金 去，其中 AI 产品超过 10 亿美金，净留存率 >140%，并宣布新一轮融资估值 1000 亿美金+。

大贵式吐槽：

这波操作其实就一个字： “围剿”。

• 上游围剿 GPU 厂商：让你买卡不只是训 OpenAI，还可以训自己的大模型；
• 同行围剿 Snowflake：在数据仓库边上另起炉灶，搞湖仓 + AI 一条龙。

六、核心竞争力：Databricks 靠什么把开源做成印钞机？

总结下来，Databricks 的护城河，至少有三道。

1. 开源 + 云服务：把“免费”变成“更贵但香”的会员模式

Databricks 的商业模式很典型：开源是敲门砖，云服务是收钱器。

• Spark、Delta Lake、MLflow 等全部开源，降低技术门槛、抢占社区心智；
• 真正赚钱的是：
  • 托管版本（不用自己运维集群）；
  • 企业特性（安全、权限、治理、合规）；
  • 一整套“Data + AI 平台”打包卖订阅。

结果就是：

“第一个版本免费送，全世界用得越多， 最后需要我们付费托管和治理的客户就越多。”

2024 年时，公司披露订阅毛利率在 80%+，净留存率 >140%，典型 SaaS 神仙指标。

2. 湖仓一体：整个架构层面的“话语权”

Databricks 并不是在某个功能点上卷别人，而是搞了一个新的架构范式：Lakehouse。

一旦企业接受了这个范式：

• 数仓、数据湖、BI、机器学习全都能往它这边靠；
• 竞争对手要么跟着改架构，要么在某个角落里做“辅料”。

湖仓本身也是建在开放格式和开源组件之上， 这让 Databricks 能一边强调“开放、可迁移”， 一边在自己这套云平台上“优化体验、搞深度集成”。

说白了：

“我不锁你数据， 但所有东西在我这儿用起来就是更顺手。”

3. Data + AI 一体化：站在 AI 风口的“卖铲子的人”

OpenAI、Anthropic 这些是“挖金矿的矿工”； Databricks 更像是**给所有企业卖“铲子 + 筛子 + 传送带”的那个”。

• 它的平台本职工作就是： 帮企业把原始数据建模、清洗、治理、打标签；
• 再通过 MLflow、大模型、Agent Bricks 等，把这些数据喂给各种 AI。

2025 年时，官方披露 AI 产品线本身就已经有 10 亿美金+ 的年化收入，增速还比整体更快。

大贵式总结：

别把 Databricks 当成“又一家云上 SQL 平台”， 它本质上是在卖： “给你家 AI 搭一个专用的、安全的、能审计的食堂和流水线。”

七、给想做“开源商业化”的人，Databricks 这本教科书的三条注解

最后，用 Databricks 的故事，给国内想做开源商业化、数据 + AI 平台的人提三句醒。

1. 先做“让人离不开的引擎”，再做“让人省心的平台”

Spark 的顺序是：

1. 先在 AMPLab 把引擎做到极致好用，
2. 再开源、捐 Apache，
3. 最后才用 Databricks 做托管服务。

也就是说：

先赢开发者，再谈赢客户。

如果一开始就想着“怎么收费”， 很难长出 Spark 这种“全世界都离不开”的核心引擎。

2. 把“场景和架构”说清楚，别只摆功能清单

Databricks 一直在强调的，不是某个功能点， 而是两个事情：

• 整体架构：“湖仓一体”，一嘴吃掉湖、仓、AI；
• 典型场景：
  • 某零售商用它做库存预测，
  • 某车企用它做电池寿命建模，
  • 某药企用它做药物研发管线等。

架构给 CIO 看，场景给业务线看， 这样才有机会把平台从“工具”变成“基础设施”。

3. 开源不是“白送”，是“用更聪明的方式赚钱”

Databricks 把开源当成“免费试用 + 市场占位”的组合拳：

• 引擎（Spark）、存储层（Delta Lake）、ML 平台（MLflow）全部开源；
• 真正收费的是：
  • 企业版功能（安全、治理、多云、合规）；
  • 云托管（不用自己招一堆大数据运维）；
  • 一整套“从数据到 AI”的全托管服务。

大贵式最后一刀：

如果你的开源项目，只在 Github 上好看、在论文里好看， 但没有一个地方能像 Databricks 那样： 把“用起来最省心的版本”收成订阅费， 那就还没走到“Databricks 这本教科书”的后半段。

大贵说：

Databricks 做成了一件看起来很朴素、实际上极其难的事： 从实验室里蹦出来一段开源代码， 最后长成了一个能让全球企业把数据和 AI 都塞进去的“湖仓工厂”。 等它哪天真的敲钟上市，大概率会被写进 “开源商业化 + 数据基础设施 + AI 工厂” 三合一的教科书第一章。

END

场景培育咨询服务

企业数字化转型/场景识别、共创、落地

精益数据训练营/解决方案架构师特训营

从数据到价值：精益数据工作坊

数字化咨询教练陪跑服务：

数字化转型规划 | 顶层设计 |企业创新与运营

IT战略规划 | IT服务管理体系 | 数据治理