- 综合排序
- 最热优先
- 最新优先
- 来自专栏ApacheHudi
Lakehouse架构指南
不了解 Lakehouse[2] 和 数据仓库[3] 之间的区别？或者只是想管理数百到数千个文件并拥有更多类似数据库的功能但不知道如何操作？ Lakehouse具有开放的数据管理架构，结合了数据湖的灵活性、成本效益和规模。 关于数据湖和Lakehouse请参阅有关现代数据基础架构[18]的新兴架构的完整架构。 在现代数据基础设施的新兴架构[19]中，Lakehouse架构越来越得到认可，并通过知名供应商（包括 Databricks、Google Cloud、Starburst 和 Dremio）和数据仓库先驱的采用情况验证了这点 统一的批处理和流式处理 统一的批处理和流式处理意味着 Lambda[32] 架构已过时。数据架构无需在批处理和流式中区分——它们都以相同的表结束，复杂性更低，速度更快。
2.8K20编辑于 2022-12-09 - 来自专栏麒思妙想
What is a Lakehouse?
解决数据湖限制的新系统开始出现，LakeHouse是一种结合了数据湖和数据仓库优势的新范式。 LakeHouse使用新的系统设计：直接在用于数据湖的低成本存储上实现与数据仓库中类似的数据结构和数据管理功能。 如果你现在需要重新设计数据仓库，鉴于现在存储（以对象存储的形式）廉价且高可靠，不妨可以使用LakeHouse。 What is a lakehouse? A lakehouse has the following key features: Transaction support: In an enterprise lakehouse many data
99120发布于 2020-07-10 - 来自专栏MySQL解决方案工程师
MySQL HeatWave Lakehouse
MySQL HeatWave Lakehouse介绍 MySQL HeatWave Lakehouse除了具有MySQL HeatWave的优势，还提供了以下功能： 向外扩展的体系结构，可以快速摄取、管理和执行查询 高效地使用集群内存，通过自动压缩相关列，提供高达2倍的压缩比——确保用户从所提供的HeatWave集群中获得最大收益。 端到端的扩展架构 MySQL HeatWave Lakehouse由一个大规模并行、高性能、内存查询处理引擎提供动力，优化后可以在节点集群中管理0.5PB级的数据大小。 因此，开发团队设计了HeatPump，这是一个大规模并行和可扩展的数据转换引擎，它充分利用集群中的所有节点和核心，提供一个真正向外扩展的湖仓架构。 HeatPump进程的向外扩展架构完美地划分、平衡任务，并利用每一个可用的CPU核心来获得外部文件的查询准备。HeatPump保证了集群中所有512个节点的同时使用，保证了强大的可扩展性。
1.4K20编辑于 2022-11-21 - 来自专栏ApacheHudi
揭秘Robinhood扩展和管理PB级规模Lakehouse架构
实施 Robinhood 数据Lakehouse架构 Robinhood 数据 Lakehouse 生态系统支持超过一万个数据源，处理数 PB 数据集，并处理数据新鲜度模式（从近实时流到静态）、数据关键性 Robinhood 对所有各种用例的支持是建立在多层架构之上的，关键性最高的数据在第 0 层进行处理，后续层用于处理具有较低约束的数据，该 Lakehouse架构满足 Robinhood 的需求 每层中的数据处理都从数据源开始 在启动之前会完成一次性引导过程，确保在数据Lakehouse中定义初始目标表和架构 - 预期 Debezium 驱动的变更数据捕获 (CDC) 流。 用于跟踪数据新鲜度的内部生成的元数据（来自 Debezium 和 Apache Hudi 源）通过上述过程中步骤 2 和 3 中提到的基础设施（即 Debezium + Kafka + DeltaStreamer 对这种分层架构的支持是建立在 Apache Hudi 的核心功能和 Lakehouse 的其他 OSS 组件的混合之上的。
57410编辑于 2024-04-26 - 来自专栏深度学习与python
专访李潇：数据智能平台，AI 时代的 Lakehouse 架构
Lakehouse 平台的增长：Lakehouse 平台在数据仓储领域的使用正迅速增加。这反映了一个重要的趋势：组织正从传统的数据处理平台过渡到更加灵活、集成和效率更高的现代数据架构。 2) 自动化数据工程任务：DLT 自动化了许多传统上需要手动编码的数据工程任务，如数据清洗、转换和聚合。通过减少需要手动编写和调试的代码量，DLT 简化了整个数据处理流程。 接下来是 Lakehouse 架构的推出阶段。这一阶段发生在 2020 年，打破了传统数据湖和数据仓库的界限。 Lakehouse 架构结合了数据湖和数据仓库的最佳元素，旨在降低成本并加速数据及人工智能项目的实施。 Lakehouse 架构建立在开源和开放标准之上，它通过消除历史上复杂化数据和 AI 的孤岛，简化了数据架构。值得注意的是，Apache Spark 只是 Lakehouse 架构中的可选模块之一。
66310编辑于 2024-01-23 - 来自专栏腾讯云存储
直播预告| Lakehouse 湖仓一体化架构论坛
在大模型时代，企业将如何进行湖仓一体化架构选型？下一代Lakehouse架构方向又在哪里？未来面临着怎么样的挑战？ 让我们在6月15日举办的以「大模型时代的 OLAP 技术演进」为主题的第58届DataFunSummit：OLAP 线上峰会中，「Lakehouse 湖仓一体化架构」论坛上看头部企业如何做！ 精彩内容，扫码报名，免费参会 本次Lakehouse湖仓一体化架构论坛的出品人程力老师，腾讯云数据湖存储的负责人，他对数据湖仓存储架构有着深入的理解与丰富的实践经验。 演讲提纲： 1.GooseFS 加速存储的核心架构 2.GooseFS 在腾讯内部实时 OLAP 搜索场景上的应用落地 3.GooseFS 在低延迟查询搜索请求上的架构演进与性能优化 4.总结 听众收益 ： 1.OLAP 系统如何基于云端对象存储构建分级缓存加速 2.面向通用场景的大规模分布式缓存如何应对低延迟搜索查询请求 3.分布式缓存系统如何在资源和成本上的实践经验
52810编辑于 2024-06-16 - 来自专栏ApacheHudi
印尼医疗龙头企业Halodoc的数据平台转型之Lakehouse架构
我们两年前建立的可能无法支持我们今天管理的数据量，以解决我们决定改进数据平台架构的问题。 在我们之前的博客中，我们谈到了现有平台的挑战以及为什么我们需要采用 Lake House 架构来支持业务和利益相关者以轻松访问数据。 在这篇博客中，我们将讨论我们的新架构、涉及的组件和不同的策略，以拥有一个可扩展的数据平台。 2. 新架构 让我们首先看一下经过改进的新数据平台 2.0 的高级架构。 我们将架构分为 4 层： 1. 2. 处理层 这里我们没有执行任何繁重的转换，而是将原始数据转换为 HUDI 数据集。 我们几乎用这个管道服务了 2 年。随着业务的增长，我们的数据集呈指数级增长，这要求我们将迁移实例增加到更大的集群以支持大量数据。
2.4K20编辑于 2022-05-18 - 来自专栏ApacheHudi
LakeHouse 还是 Warehouse？(12)
我将描述整体架构，如何思考问题，以及应该留在当前的架构中还是继续演进。 湖仓一体现已在技术上得到验证，包括以下公司用例： • Uber[2] • Robinhood[3] • Amazon[4] • Bytedance[5] • Walmart[6] • Disney[7] 现在LakeHouse中的世界更加结构化。 可以看到这些架构是如何相互接近的 从本质上讲，我们添加了一个事务管理层，一堆可以优化表的东西，类似于在仓库中找到的东西，比如对表进行聚簇，架构管理或统计信息，只是跟踪表的更具可扩展性的文件级统计信息，架构的其余部分几乎相同 从某种意义上说 LakeHouse 试图将两者融合在一起，但挑战也存在，这些进步是必要的。
36710编辑于 2024-01-23 - 来自专栏ApacheHudi
基于 XTable 的 Dremio Lakehouse分析
这创建了一个面向未来的架构，可以在需要时将新工具添加到技术栈中。 尽管有这些优点，但仍存在一个障碍：需要选择单一表格格式，这带来了重大挑战，因为每种格式都具有独特的功能和集成优势。 对于这个特定的练习，我们使用了来自 Kaggle[2] 的公开数据。 如果我们现在检查 S3 位置路径，我们将看到 Iceberg 元数据文件，其中包括架构定义、提交历史记录、分区信息和列统计信息等详细信息。这是 S3 中的元数据文件夹。 XTable（孵化）项目: [https://github.com/apache/incubator-xtable](https://github.com/apache/incubator-xtable) [2]
87910编辑于 2024-06-08 - 来自专栏ApacheHudi
沃尔玛基于 Apache Hudi 构建 Lakehouse
Ankur 和 Ayush 分享了他们从沃尔玛从数据湖到数据 Lakehouse 架构的战略转变的动机和经验，重点关注了 Apache Hudi Lakehouse 格式在实现这一变化中的重要性。 他们的一些主要收获是促使使用数据 Lakehouse 的挑战以及采用通用 Lakehouse 架构的好处。 了解 Apache Hudi 随着这种自然的演变，Ankur 和 Ayush 旅程的下一步是为沃尔玛选择正确的数据Lakehouse架构。 Lakehouse 范式中为开发人员减轻的一项主要负担是读取和计算时间（图 4 中的步骤 2），因为在数据湖中，实现和管理全部由开发人员承担。 Lakehouse 由于其部分更新支持而减少了数据分叉（图 5 中的步骤 2）。以前团队经常使用单独的 NoSQL 数据库（例如 MongoDB）来支持这一重要用例。
38910编辑于 2024-03-18 - 来自专栏ApacheHudi
加速 Lakehouse 表性能完整指南
这些项目成为Apache Iceberg[2] （诞生于 Netflix）和 Linux 基金会的Delta Lake[3] （诞生于 Databricks），最终融合为“数据Lakehouse”的术语 2. 大规模（1 TB/小时）事件流数据需要处理到 Lakehouse 表中。然而未优化表上的端到端写入时间太慢，导致事件流主题中缺乏数据新鲜度和难以维持的数据积累量。 如何优化 Data Lakehouse 性能 在本节中，我们将讨论 Lakehouse 表实现性能提升的常见方法，以及工程师如何利用这些技术来发挥我们的优势。 Table_1 在列（A、B、C）上使用线性排序顺序，而 table_2 在同一列（A、B、C）上使用 Z 顺序。 Q2 和 Q3。
60000编辑于 2025-01-20 - 来自专栏深度学习与python
Lakehouse 如何重塑企业数据生态？
Lakehouse 架构，那么 Lakehouse 未来的关键发展趋势有哪些？ 最后，我认为未来 Lakehouse 架构将会更加标准化。 2 Lakehouse 架构的挑战与技术创新 伍翀：在 Data + AI 深度融合的当下，数据规模与复杂度剧增，这给 Lakehouse 架构在数据存储、实时处理及 AI 模型适配等方面带来了哪些具体且关键的挑战 这些因素都会影响企业在引入实时 Lakehouse 架构时的选型决策。 在确定选型之后，还需考虑如何让新的 Lakehouse 架构与现有的企业生态兼容。 因此，即使是 Lakehouse 架构，底层的 HDFS 并不会因为架构的变化而被完全替代。
54410编辑于 2025-03-21 StarRocks 4.0：Real-Time Intelligence on Lakehouse
StarRocks 2.x，解决‘实时分析’的难题，帮助用户更快的洞察业务。StarRocks 3.x，升级存算分离架构，打造极速统一的湖仓分析能力，让数据分析更加的简单高效。 Agent 构建对数据平台提出新挑战；数据新鲜度要求更实时，查询延时与并发要求更高、数据处理效率与性价比要求更高，StarRocks 4.x 大版本将以 Real-Time Intelligence on Lakehouse 实时分析更高效StarRocks 3.x 在存算分离架构下，基于低成本的对象存储构建实时分析能力，相比存算一体的方案在存储成本上有了数量级的下降。 展望未来StarRocks 4.0 是 Real-Time Intelligent on Lakehouse 的新起点，StarRocks 4.x 系列版本将继续深化核心能力，打造 Agent-ready Fast Delivery：Lakehouse 架构是 AI 时代的数据基座，StarRocks 持续优化 Lakehouse 构建、治理与分析的能力，让数据到业务价值的交付变得更加高效。
46310编辑于 2025-10-28- 来自专栏ApacheHudi
Notion 基于Apache Hudi构建LakeHouse
下面的视频剪辑给出了Notion 演讲的简短摘要，还可以查看演讲幻灯片[1]或查看完整演讲[2]。 应对加倍：不断发展的 Notion 数据基础设施 在 2022 年之前，Notion 的整个数据基础设施都依赖于单个 PostgreSQL 数据库系统，如图 2 所示。 正是看到这种模式，促使 Notion 团队转向通用数据 Lakehouse 架构，该架构将更好地支持这种观察到的更新模式。 使用 Apache Hudi 解决挑战 该团队当时有多种架构选择 - Apache Hudi、Apache Iceberg 和 Delta Lake（Databricks 使用的内部 Delta Lakehouse 还指出了 Hudi 的 Lakehouse 架构对其数据基础设施的好处，并指出 Hudi 为 Notion 节省了 125 万美元的成本并提高了性能。
49810编辑于 2024-03-06 - 来自专栏大数据
四大主流大数据架构详解与实战：MPP、Lambda、Kappa、Lakehouse，附存储选型指南
MPP、Lambda、Kappa、Lakehouse四大架构，作为当前企业落地最广泛的方案，各有优劣、各有适配场景，而数据存储作为架构的“基石”，直接决定了架构落地的效率与性价比。 Lakehouse架构：数据湖+数据仓库融合，兼顾灵活性与高性能，适合海量多类型数据、需统一分析的场景，存储需支持ACID事务与多模式访问。核心提醒：没有“最优架构”，只有“最适配架构”。 2.4Lakehouse架构：数据湖与数据仓库的“融合王者”2.4.1核心原理Lakehouse（数据湖仓）架构是近年来最热门的大数据架构，核心思路是“融合数据湖的灵活性和数据仓库的高性能”——既保留数据湖 选型禁忌：中小型企业谨慎选型（Lakehouse架构复杂度高，运维成本高，需专业团队）；数据量级较小（TB级以下），无需使用Lakehouse（性价比低，不如MPP或Lambda架构）。 想简化架构，选Kappa架构；大型企业、海量多类型数据、统一分析，选Lakehouse架构。
61721编辑于 2026-03-09 - 来自专栏ApacheHudi
基于 Apache Hudi + dbt 构建开放的Lakehouse
什么是Lakehouse？ Lakehouse 是一种新的开放式架构，它结合了数据湖和数据仓库的最佳元素。 如何建造一个开放的Lakehouse？ 可以按照此页面[2]上的说明学习如何安装和配置 dbt+hudi。 第 1 步：如何提取和加载原始数据集？ 这是构建Lakehouse的第一步，这里有很多选择可以将数据加载到我们的开放Lakehouse中。 [1] dbt-spark 适配器: [https://github.com/dbt-labs/dbt-spark](https://github.com/dbt-labs/dbt-spark) [2]
1.7K10编辑于 2022-12-09 Lakehouse x AI ，打造智能 BI 新体验
Lakehouse 引擎底座，助力 BI 从“被动查询”迈向“主动决策”，开启数据“会说话”的新体验。 为什么 Lakehouse 正在成为智能分析的关键基石？ 在智能分析场景中，数据通常经历 ETL 与特征工程 → 模型训练（training）→ 推理（inference）→ 服务（serving）等环节，整个链路的读取与存储均依赖 Lakehouse 架构中具备 StarRocks 的 lakehouse 架构赋能实时智能分析StarRocks 构建了统一的 Lakehouse 架构，有效支撑从数据接入、处理、分析到 AI 推理的全链路能力，正成为智能分析的关键底座 在标准测试集（如 SSB、TPC-DS、TPC-H）中，查询性能普遍领先竞品 2–3 倍；多个实际迁移案例也实现 1–2 倍性能提升。2.
40910编辑于 2025-07-26- 来自专栏DDD
架构与架构师2
最近闲了，看了几次李运华关于架构的视频，不禁再次反问架构是什么？架构师的职责是什么？ 对于这两个问题，之前也总结过一篇《架构和架构师》[1]，再结合他的专栏文章和视频，补充一下 架构 李运华给架构的定义：软件架构指软件系统的顶层结构，缩句成架构指结构，而结构的修饰语蕴含了太多东西，抽象不够直白 ，得行多少路，抽象了多少回，才有的认知，所以我也不打算靠记忆了，不过对于模块和组件的认知很独到 虽然架构定义众家纷说，但对于如何描述架构还是有共识的，那就是“4+1视图”，在《架构和架构师》[2]也描述了 架构师在国内，大多时候可能不是个岗位，而是个角色。大厂还有架构师一说，小厂难得有专职架构师，所以架构师职能还得多多取经大牛，学习一下大牛 架构师能力模型 ? 这个过程，回顾最近几个系统设计的确是这样的 1.业务方提出一个业务，刚开始可能只是个目标，轮廓2.与业务方、产品不停的交流，交流得越深入，需求就越明确3.理解业务并明确需求后，划分模块，不管是传统画ER
56210发布于 2021-03-23 - 来自专栏ApacheHudi
使用 Apache Hudi + Daft + Streamlit 构建 Lakehouse 分析应用
开放湖仓一体平台 随着越来越多的组织过渡到使用开放表格式在数据湖上进行事务，湖仓一体架构越来越受欢迎。 这种模块化方法创建了一个面向未来的架构，可以根据需要将新的计算引擎添加到堆栈中。 然而，在单节点架构中直接使用来自湖仓一体的数据的需求正变得至关重要，尤其是在进行临时分析和构建分析应用程序时，这加快了洞察过程的时间。对于此类用例并不总是需要经历设置基础架构的繁琐过程。 # Charts 1 & 2 col1, col2 = st.columns(2, gap="large") with col1: st.subheader('Price Distribution 通过支持直接访问数据的开放数据架构可以避免这种情况。
1.1K10编辑于 2024-05-20 - 来自专栏深度学习与python
浅谈DeepSeek与Lakehouse的跨越式融合
最近 DeepSeek 这股风刮得太猛了，本周末的大事莫过于腾讯于 2025 年 2 月 15 日晚开始灰度测试在微信中接入 DeepSeek-R1 模型。 语言表达能力 - 例如 ChatGPT 3.5 逻辑推理能力 - 例如 DeepSeek R1 知识记忆能力 - RAG这正是我们接下来要探讨的 RAG（检索增强生成）技术...... 2 为什么企业应建立 接下来，笔者就结合具体的方案，跟大家聊聊如何基于 Lakehouse 架构来构建一个具备“可信数据”的企业 RAG 知识库。 这张图展示了 Lakehouse+RAG 构建的知识库架构，以及基于该知识库的 AI 产品功能，例如对话式数据分析工具 DataGPT。 而 DeepSeek 等私有部署 LLM + Lakehouse 架构的结合，未来或是一种全新的企业级 AI 范式。
31500编辑于 2025-02-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号