2022年 Sqlite白皮书对比DuckDB差异 -- 什么叫做关公战秦琼

其实之前我写关于SQLite的知识，我并未理解一堆人在我的评论区，提出为为什么不用duckdb，我对duckdb的认知应该是OLAP的数据库系统，和移动端有关系我实在没有明白，直到我读了Kevin P. Gaffney、Martin Prammer、Larry Brasfield、D. Richard Hipp、Dan Kennedy 和 Jignesh M. Patel 共同撰写《SQLite：过去、现在和未来》，这本资料是刊发在PVLDB 2022年第十二期上的论文。

熟悉SQLite的应该知道这几位是SQLite的奠基者，中文术语老祖级别的。在他们的这个白皮书里面有写到DUCKDB，相关白皮书已经在9个群里发了。

论文背景与核心议题

SQLite的地位与设计 SQLite自最初发布以来的二十年间，已成为 部署最广泛的数据库引擎。如今，它几乎存在于每一部智能手机、计算机、网络浏览器、电视和汽车中。其普及的原因包括其 进程内（in-process）设计、独立的代码库、广泛的测试套件 和 跨平台文件格式。

SQLite最初是作为Tcl编程语言的扩展于2000年8月发布的，起源于作者对调试在单独进程中运行的数据库服务器的挫败感。与通常占据专用进程并使用共享内存与应用程序通信的客户端-服务器数据库系统不同，SQLite 嵌入在宿主应用程序的进程中。

SQLite采用模块化设计，主要由四组模块组成：核心模块、SQL编译器模块、后端模块和附件模块。

SQL编译器模块：将SQL语句翻译成 字节码程序，由 Tokenize（词法分析器）、Parser（解析器） 和 Code Generator（代码生成器） 组成。

核心模块：虚拟机（VDBE） 是SQLite的核心，负责执行代码生成器生成的字节码程序的逻辑。

后端模块：包括 B-树模块（SQLite文件本质上是B-树的集合）、Page Cache（页缓存） 和 OS Interface（操作系统接口），后者通过虚拟文件系统（VFS）实现跨操作系统移植性。

事务模式

SQLite提供ACID保证（原子性、一致性、隔离性、持久性），主要通过两种模式实现：

1. 回滚模式（Rollback mode）：通过创建回滚日志文件来记录修改前的页面内容，并在提交时获取排他锁并将修改后的页面刷新到数据库文件和稳定存储。
2. 预写式日志模式（WAL mode）：将原始页面保留在数据库文件中，并将修改后的页面附加到单独的WAL文件（Write-Ahead Log）。WAL模式的优势在于 提高了并发性（读者可以在写入者提交时继续操作）和 速度更快（写入稳定存储次数较少，且写入更具顺序性）。但是，WAL模式需要共享内存，因此 不能在网络文件系统上使用。

OLTP 性能 (TATP)

在OLTP基准测试TATP中，SQLite-WAL产生了最高的吞吐量，优势显著。

在云服务器上，SQLite-WAL的吞吐量达到 10,000 TPS，比DuckDB快 10 到 500 倍不等。

SQLite-WAL和SQLite-DELETE的性能通常与数据库大小无关，而DuckDB则受到数据库大小的不利影响。

这些结果符合预期，因为SQLite的事务处理机制经过多年精细调整，而DuckDB主要为OLAP和ETL设计。

OLAP 性能 (SSB)

在OLAP基准测试SSB中，DuckDB明显快于SQLite。

性能差距最宽时，DuckDB快 30-50 倍；最窄时，DuckDB快 3-8 倍。

性能瓶颈识别与优化

通过对SQLite执行引擎的性能分析（VDBE_PROFILE选项），作者发现了两个关键瓶颈指令：

1. SeekRowid：用于在B-树索引中查找给定行ID的行（连接操作的一部分）。
2. Column：用于从给定记录中提取列值。

优化目标一：避免不必要的B-树探测 (SeekRowid)

SQLite使用嵌套循环来计算连接（Join），并使用主键索引或临时索引加速内层循环。在SSB查询中，SQLite对外层表（例如lineorder）的每个元组都会探测内层表（例如part、date、supplier）的主键索引，但其中很大一部分元组最终会被过滤掉。

作者决定整合 布隆过滤器（Bloom filters） 来实现 预读信息传递（Lookahead Information Passing, LIP）。

LIP通过在连接处理开始前在所有内部（维度）表上创建布隆过滤器，并在执行连接前探测这些过滤器，从而 显著减少了流经连接管道的元组数量，减少了不必要的B-树探测。

优化结果：在Raspberry Pi上，SQLite在SSB上整体加速 4.2倍。在云服务器上，整体加速 2.7倍。性能分析图显示，SeekRowid指令消耗的CPU周期显著减少。

优化目标二：简化值提取 (Column)

SQLite使用 灵活类型（flexible typing），这意味着每个值都带有类型信息，存储在记录的头部。

为了提取一个值，SQLite必须遍历头部中的每个序列类型代码，以计算出目标值在记录体中的偏移量。这与列式数据库中连续的列值存储方式形成对比。

作者探索了替代方案，但由于 SQLite数据库文件格式的稳定性、跨平台性和向后兼容性 是其核心优势（该格式是美国国会图书馆推荐的数字内容保存格式之一），任何对数据格式的重大改变（例如切换到列式存储）都会牺牲这些特性，因此作者 没有进行文件格式的更改。

Blob 数据操作 (BLOB Benchmark)

许多应用程序使用SQLite作为 blob数据存储，因为它提供了比文件系统更强的事务性保证（ACID）。

对于 100 KB 的Blob数据，SQLite-WAL的吞吐量最高，在云服务器上甚至略高于文件系统（可能是因为SQLite的缓存能力）。

对于 10 MB 的大Blob数据，DuckDB的吞吐量最高。由于10 MB超过了WAL的默认限制（约4 MB），SQLite-WAL的单次写入会触发立即检查点（checkpoint），导致两次写入操作，降低了其性能。

对于嵌入式数据库引擎而言，资源占用是一个重要考量。

编译体积和时间：SQLite的库文件非常小，优化尺寸后仅 900 KB，编译时间仅 15 秒。相比之下，DuckDB的编译时间需要 5-10 分钟，库文件大小为 32-37 MB。

存储空间：尽管SQLite库体积小，但由于其行式存储和灵活类型系统，它存储相同数据集所需的空间比DuckDB要大（例如，存储SSB数据集，SQLite比DuckDB多占用 60% 的空间）。DuckDB使用列式存储，并对数据进行高效表示和压缩。

CSV数据加载速度：有趣的是，SQLite在从CSV文件加载SSB数据集时比DuckDB快近 20%

架构和内部机制差异

数据类型处理：

 SQLite 使用 灵活类型 (Flexible Typing)，类型信息与 每个值 关联，存储在记录的头部。

 DuckDB 将类型信息与 整个列 关联，从而简化了值提取过程。

跨平台与文件格式：

 SQLite 的数据库文件格式 极其稳定、跨平台，并具备 向后兼容性，是美国国会图书馆推荐的数字内容保存格式之一。作者强调，不愿意牺牲 数据库文件格式的稳定性和可移植性来换取性能，因此未改变其行式存储格式。

 DuckDB 也使用单文件数据库和自包含代码，但在架构上更激进地采用了列式存储。

总结 SQLite 的优势在于其 无与伦比的普及性、可靠性、极小的体积 和 强大的 OLTP 性能。DuckDB 则以其专为 OLAP 优化的架构、列式存储和向量化执行，在分析工作负载上展示出卓越的速度。

置顶

基于SQLite如何设计应用程序，拆散，散，还的散！

《当一个数据库工程师撑起一个行业时：传统企业 IT 的真相》--数据库说书人

SQLite3 如果突发断电，关机，数据会丢还是不会丢？

OceanBase 2025 年新品发布会，太冷了！

阿里云产品选择困难症，RDS 还是 PolarDB 希望能讲明白

SQLite3 为什么会打败PostgreSQL 的原因分析，PostgreSQL 在移动端也是不错的选择

果不其然，SQLite的研究引来一堆人的关注，上一篇爆了

SQLite3 打败了 PostgreSQL 终究还是没能挽回--世界最大装机量是真的

回复群友问题，PostgreSQL Extensions 哪些是常用的

PostgreSQL 2025杭州大会--掐指一算，原来待在这里 7年了！

回复群友问题，PostgreSQL Extensions 哪些是常用的

说搞国产数据库生态，骗鬼呢？ 群里服务商吐槽后的 “大实话”

“MySQL” 2025年我用上物化视图功能，谁家的MySQL有这个功能？

民营企业领导问 外部客户数据库选型为什么是 OceanBase

PostgreSQL 真实压测，分析PG18 17 16 15 14 之间在处理SQL和系统性能稳定性的差异

PostgreSQL 迁移到 PolarDB 2万5千里长征，太难了，太难了 （今天DISS阿里云某部门）

数据库HTAP概念新解读，一定和你知道的不一样

Oracle 26i 的一个功能演进后，云厂商利用会不会造出千年老妖样的“数据库”

在某国产数据库 “小黑屋” 会议后的 感想和记录

“一顿海鲜引发”（3）一分钟定位数据库问题，试用得京东卡和礼物！

“一顿海鲜引发”（2）“运维工具与DBA之间不打不相识”

“一顿海鲜引发”（1）：DBA、架构师与数据库运维工具的爱恨情仇

DBA 从“修电脑的” 到 上演一套 “数据治理” 大戏 --- 维护DBA生存空间，体现个体价值

Oracle 也有做失败的数据库系统？是的今天我们来说说他

老板说 MongoDB 测试环境这么贵，弄单机？ 开发说要复制集测试？ 你们这群XXX！！

国庆节2号 PostgreSQL 停机罢工 协助 解决问题得 66.66元的红包

外媒评论区疯狂了，开发人员各种观点---北美AI替换程序员引发境外程序员业界震动

MySQL 8 的老大难问题，从5.7延续至今，这个问题有这么难？

体育生误入 DBA 行业，后悔了，问换哪行？

一篇为MySQL用户，分析版本核心差异的文章--8.028-8.4的差异

云上DBA是诸葛亮，云下的DBA是 关云长，此话怎讲？ 4点变化直击要害

外国专家说PG 18 AI能力不行，到底行不行？

MongoDB 开始接客户应用系统 AI 改造的活了--OMG 这世界太疯狂

一篇将PostgreSQL 日志问题说的非常详细附带分析解决方案的文章 （翻译）

DBA 与 AI 斗智斗勇的一天，谁是麦当劳，谁是星巴克

科技改变生活，阿里云DAS AI改变了什么

企业DBA 应该没听说过 Supabase，因为他不单纯 ！！

Oracle 推出原生支持 Oracle 数据库的 MCP 服务器，助力企业构建智能代理应用

PolarDB MySQL SQL 优化指南 （SQL优化系列 5）

开发欺负我 Redis 的大 keys的问题，我一个DBA怎么解决？

IF-Club 你提意见拿礼物 AustinDatabases 破 10000

开发欺负我 Redis 的大 keys的问题，我一个DBA怎么解决？

云基座技术是大厂专有，那小厂和私有云的出路在哪里？

OceanBase 相关文章

某数据库下的一手好棋！共享存储落子了！

OceanBase 光速快递 OB Cloud “MySQL” 给我，Thanks a lot

和架构师沟通那种“一坨”的系统，推荐只能是OceanBase，Why ?

OceanBase Hybrid search 能力测试，平换MySQL的好选择

某数据库下的一手好棋！共享存储落子了！

写了3750万字的我，在2000字的OB白皮书上了一课--记 《OceanBase 社区版在泛互场景的应用案例研究

OceanBase 单机版可以大批量快速部署吗？ YES

OceanBase 6大学习法--OBCA视频学习总结第六章

OceanBase 6大学习法--OBCA视频学习总结第五章--索引与表设计

OceanBase 6大学习法--OBCA视频学习总结第五章--开发与库表设计

OceanBase 6大学习法--OBCA视频学习总结第四章 --数据库安装

OceanBase 6大学习法--OBCA视频学习总结第三章--数据库引擎

OceanBase 架构学习--OB上手视频学习总结第二章 （OBCA）

OceanBase 6大学习法--OB上手视频学习总结第一章

没有谁是垮掉的一代--记 第四届 OceanBase 数据库大赛

OceanBase 送祝福活动，礼物和幸运带给您

跟我学OceanBase4.0 --阅读白皮书 (OB分布式优化哪里了提高了速度)

跟我学OceanBase4.0 --阅读白皮书 （4.0优化的核心点是什么）

跟我学OceanBase4.0 --阅读白皮书 （0.5-4.0的架构与之前架构特点）

跟我学OceanBase4.0 --阅读白皮书 （旧的概念害死人呀，更新知识和理念）

聚焦SaaS类企业数据库选型（技术、成本、合规、地缘政治）

OceanBase 学习记录-- 建立MySQL租户,像用MySQL一样使用OB

“合体吧兄弟们！”——从浪浪山小妖怪看OceanBase国产芯片优化《OceanBase “重如尘埃”之歌》

MongoDB 相关文章

MongoDB “升级项目” 大型连续剧(4)-- 与开发和架构沟通与扫尾

MongoDB “升级项目” 大型连续剧(3)-- 自动校对代码与注意事项

MongoDB “升级项目” 大型连续剧(2)-- 到底谁是"der"

MongoDB “升级项目” 大型连续剧(1)-- 可“生”可不升

MongoDB 大俗大雅，上来问分片真三俗 -- 4 分什么分

MongoDB 大俗大雅，高端知识讲“庸俗” --3 奇葩数据更新方法

MongoDB 学习建模与设计思路--统计数据更新案例

MongoDB 大俗大雅，高端的知识讲“通俗” -- 2 嵌套和引用

MongoDB 大俗大雅，高端的知识讲“低俗” -- 1 什么叫多模

MongoDB 合作考试报销活动 贴附属，MongoDB基础知识速通

MongoDB 年底活动，免费考试名额 7个公众号获得

MongoDB 使用网上妙招，直接DOWN机---清理表碎片导致的灾祸 (送书活动结束)

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- MongoDB 数据模式与建模

MongoDB 双机热备那篇文章是 “毒”

MongoDB 会丢数据吗？在次补刀MongoDB 双机热备

MONGODB ---- Austindatabases 历年文章合集

MongoDB 麻烦专业点，不懂可以问，别这么用行吗 ! --TTL

PolarDB 已经开放的课程

PolarDB 非官方课程第八节--数据库弹性弹出一片未来--结课

PolarDB 非官方课程第七节--数据备份还原瞬间完成是怎么做到的--答题领奖品

PolarDB 非官方课程第六节--数据库归档还能这么玩--答题领奖品

PolarDB 非官方课程第五节--PolarDB代理很重要吗？--答题领奖品

PolarDB 非官方课程第四节--PG实时物化视图与行列数据整合处理--答题领奖品

PolarDB 非官方课程第三节--MySQL+IMCI=性能怪兽--答题领奖品

PolarDB 非官方课程第二节--云原生架构与特有功能---答题领奖品

PolarDB 非官方课程第一节-- 用户角度怎么看PolarDB --答题领奖品

免费PolarDB云原生课程，听课“争”礼品，重塑云上知识，提高专业能力

PolarDB 相关文章

P-MySQL SQL优化案例，反观MySQL不死没有天理

非“厂商广告”的PolarDB课程：用户共创的新式学习范本--7位同学获奖PolarDB学习之星

“当复杂的SQL不再需要特别的优化”，邪修研究PolarDB for PG 列式索引加速复杂SQL运行

数据压缩60%让“PostgreSQL” SQL运行更快，这不科学呀？

这个 PostgreSQL 让我有资本找老板要 鸡腿 鸭腿 !!

用MySQL 分区表脑子有水！从实例，业务，开发角度分析 PolarDB 使用不会像MySQL那么Low

P-MySQL SQL优化案例，反观MySQL不死没有天理

MySQL 和 PostgreSQL 可以一起快速发展，提供更多的功能？

这个MySQL说“云上自建的MySQL”都是”小垃圾“

PolarDB MySQL 加索引卡主的整体解决方案

“PostgreSQL” 高性能主从强一致读写分离，我行，你没戏！

PostgreSQL 的搅局者问世了，杀过来了！

在被厂商围剿的DBA 求生之路 --我是老油条

POLARDB 添加字段 “卡” 住---这锅Polar不背

PolarDB 版本差异分析--外人不知道的秘密（谁是绵羊，谁是怪兽）

在被厂商围剿的DBA 求生之路 --我是老油条

PolarDB 答题拿-- 飞刀总的书、同款卫衣、T恤，来自杭州的Package（活动结束了）

PolarDB for MySQL 三大核心之一POLARFS 今天扒开它--- 嘛是火

PostgreSQL 相关文章

PostgreSQL 新版本就一定好--由培训现象让我做的实验

说我PG Freezing Boom 讲的一般的那个同学，专帖给你，看看这次可满意

邦邦硬的PostgreSQL技术干货来了，怎么动态扩展PG内存 ！

3种方式 PG大版本升级 接锅，背锅，不甩锅 以客户为中心做产品

"PostgreSQL" 不重启机器就能调整 shared buffer pool 的原理

说我PG Freezing Boom 讲的一般的那个同学专帖给你看这次可满意

一个IP地址访问两个PG实例，上演“一女嫁二夫”的戏码

PostgreSQL Hybrid能力岂非“小趴菜”数据库可比 ？

PostgreSQL 新版本就一定好--由培训现象让我做的实验

PostgreSQL “乱弹” 从索引性能到开发优化

PostgreSQL 无服务 Neon and Aurora 新技术下的新经济模式 （翻译）

PostgreSQL的"犄角旮旯"的参数捋一捋

PostgreSQL逻辑复制槽功能

PostgreSQL 扫盲贴 常用的监控分析脚本

“PostgreSQL” 高性能主从强一致读写分离，我行，你没戏！

PostgreSQL 添加索引导致崩溃，参数调整需谨慎--文档未必完全覆盖场景

PostgreSQL 的搅局者问世了，杀过来了！

PostgreSQL SQL优化用兵法，优化后提高 140倍速度

PostgreSQL 运维的难与“难” --上海PG大会主题记录

PostgreSQL 什么都能存，什么都能塞 --- 你能成熟一点吗？

PostgreSQL 迁移用户很简单 --- 我看你的好戏

PostgreSQL 用户胡作非为只能受着 --- 警告他

全世界都在“搞” PostgreSQL ，从Oracle 得到一个“馊主意”开始 PostgreSQL 加索引系统OOM 怨我了--- 不怨你怨谁

PostgreSQL “我怎么就连个数据库都不会建？” --- 你还真不会！

病毒攻击PostgreSQL暴力破解系统，防范加固系统方案（内附分析日志脚本）

PostgreSQL 远程管理越来越简单，6个自动化脚本开胃菜

PostgreSQL 稳定性平台 PG中文社区大会--杭州来去匆匆

PostgreSQL 如何通过工具来分析PG 内存泄露

PostgreSQL 分组查询可以不进行全表扫描吗？速度提高上千倍？

POSTGRESQL --Austindatabaes 历年文章整理

PostgreSQL 查询语句开发写不好是必然，不是PG的锅

PostgreSQL 字符集乌龙导致数据查询排序的问题，与 MySQL 稳定 "PG不稳定"

PostgreSQL Patroni 3.0 新功能规划 2023年 纽约PG 大会 （音译）

PostgreSQL 玩PG我们是认真的，vacuum 稳定性平台我们有了

PostgreSQL DBA硬扛 垃圾 “开发”，“架构师”，滥用PG 你们滚出 ！（附送定期清理连接脚本）

DBA 失职导致 PostgreSQL 日志疯涨

这个 PostgreSQL 让我有资本找老板要 鸡腿 鸭腿 !!

一个IP地址访问两个PG实例，上演“一女嫁二夫”的戏码

PostgreSQL “乱弹” 从索引性能到开发优化

MySQL相关文章

一篇为MySQL用户，分析版本核心差异的文章--8.028-8.4的差异

那个MySQL大事务比你稳定，主从延迟低，为什么？ Look my eyes! 因为宋利兵宋老师

MySQL 条件下推与排序优化实例--MySQL8.035

青春的记忆，MySQL 30年感谢有你，再见！（译）

MySQL 8 SQL 优化两则 ---常见问题

MySQL SQL优化快速定位案例 与 优化思维导图

"DBA 是个der" 吵出MySQL主键问题多种解决方案

MySQL 怎么让自己更高级---从内存表说到了开发方式

MySQL timeout 参数可以让事务不完全回滚

MySQL 让你还用5.7 出事了吧，用着用着5.7崩了

MySQL 的SQL引擎很差吗？由一个同学提出问题引出的实验

用MySql不是MySQL, 不用MySQL都是MySQL 横批 哼哼哈哈啊啊

MYSQL --Austindatabases 历年文章合集

超强外挂让MySQL再次兴盛，国内神秘组织拯救MySQL行动

MySQL 条件下推与排序优化实例--MySQL8.035