- 综合排序
- 最热优先
- 最新优先
- 来自专栏ApacheHudi
Lakehouse架构指南
Lakehouse具有开放的数据管理架构，结合了数据湖的灵活性、成本效益和规模。 关于数据湖和Lakehouse请参阅有关现代数据基础架构[18]的新兴架构的完整架构。 在现代数据基础设施的新兴架构[19]中，Lakehouse架构越来越得到认可，并通过知名供应商（包括 Databricks、Google Cloud、Starburst 和 Dremio）和数据仓库先驱的采用情况验证了这点 统一的批处理和流式处理 统一的批处理和流式处理意味着 Lambda[32] 架构已过时。数据架构无需在批处理和流式中区分——它们都以相同的表结束，复杂性更低，速度更快。 #step-5](https://airbyte.com/tutorials/load-data-into-delta-lake-on-databricks-lakehouse#step-5) [29]
2.8K20编辑于 2022-12-09 - 来自专栏麒思妙想
What is a Lakehouse?
解决数据湖限制的新系统开始出现，LakeHouse是一种结合了数据湖和数据仓库优势的新范式。 LakeHouse使用新的系统设计：直接在用于数据湖的低成本存储上实现与数据仓库中类似的数据结构和数据管理功能。 如果你现在需要重新设计数据仓库，鉴于现在存储（以对象存储的形式）廉价且高可靠，不妨可以使用LakeHouse。 What is a lakehouse? A lakehouse has the following key features: Transaction support: In an enterprise lakehouse many data
99120发布于 2020-07-10 - 来自专栏MySQL解决方案工程师
MySQL HeatWave Lakehouse
MySQL HeatWave Lakehouse介绍 MySQL HeatWave Lakehouse除了具有MySQL HeatWave的优势，还提供了以下功能： 向外扩展的体系结构，可以快速摄取、管理和执行查询 MySQL HeatWave Lakehouse自动将所有数据源转换为单一优化的内部格式。 端到端的扩展架构 MySQL HeatWave Lakehouse由一个大规模并行、高性能、内存查询处理引擎提供动力，优化后可以在节点集群中管理0.5PB级的数据大小。 因此，开发团队设计了HeatPump，这是一个大规模并行和可扩展的数据转换引擎，它充分利用集群中的所有节点和核心，提供一个真正向外扩展的湖仓架构。 HeatPump进程的向外扩展架构完美地划分、平衡任务，并利用每一个可用的CPU核心来获得外部文件的查询准备。HeatPump保证了集群中所有512个节点的同时使用，保证了强大的可扩展性。
1.4K20编辑于 2022-11-21 - 来自专栏ApacheHudi
揭秘Robinhood扩展和管理PB级规模Lakehouse架构
实施 Robinhood 数据Lakehouse架构 Robinhood 数据 Lakehouse 生态系统支持超过一万个数据源，处理数 PB 数据集，并处理数据新鲜度模式（从近实时流到静态）、数据关键性 Robinhood 对所有各种用例的支持是建立在多层架构之上的，关键性最高的数据在第 0 层进行处理，后续层用于处理具有较低约束的数据，该 Lakehouse架构满足 Robinhood 的需求 每层中的数据处理都从数据源开始 在启动之前会完成一次性引导过程，确保在数据Lakehouse中定义初始目标表和架构 - 预期 Debezium 驱动的变更数据捕获 (CDC) 流。 对这种分层架构的支持是建立在 Apache Hudi 的核心功能和 Lakehouse 的其他 OSS 组件的混合之上的。 区域标签和相关元数据用于跟踪和传播有关整个Lakehouse不同区域的信息。Robinhood 的团队实施了中央元数据服务来支持这些区域。该服务建立在我们上面看到的新鲜度元数据相同的分层架构之上。
57410编辑于 2024-04-26 - 来自专栏深度学习与python
专访李潇：数据智能平台，AI 时代的 Lakehouse 架构
Lakehouse 平台的增长：Lakehouse 平台在数据仓储领域的使用正迅速增加。这反映了一个重要的趋势：组织正从传统的数据处理平台过渡到更加灵活、集成和效率更高的现代数据架构。 5) 改进的监控和维护：DLT 提供了增强的监控和维护功能，使得跟踪数据管道的性能和识别潜在问题变得更加容易。 接下来是 Lakehouse 架构的推出阶段。这一阶段发生在 2020 年，打破了传统数据湖和数据仓库的界限。 Lakehouse 架构结合了数据湖和数据仓库的最佳元素，旨在降低成本并加速数据及人工智能项目的实施。 Lakehouse 架构建立在开源和开放标准之上，它通过消除历史上复杂化数据和 AI 的孤岛，简化了数据架构。值得注意的是，Apache Spark 只是 Lakehouse 架构中的可选模块之一。
66310编辑于 2024-01-23 - 来自专栏腾讯云存储
直播预告| Lakehouse 湖仓一体化架构论坛
在大模型时代，企业将如何进行湖仓一体化架构选型？下一代Lakehouse架构方向又在哪里？未来面临着怎么样的挑战？ 让我们在6月15日举办的以「大模型时代的 OLAP 技术演进」为主题的第58届DataFunSummit：OLAP 线上峰会中，「Lakehouse 湖仓一体化架构」论坛上看头部企业如何做！ 精彩内容，扫码报名，免费参会 本次Lakehouse湖仓一体化架构论坛的出品人程力老师，腾讯云数据湖存储的负责人，他对数据湖仓存储架构有着深入的理解与丰富的实践经验。 通过构建两级缓存架构与混合部署，让整个基于对象存储架构构建的查询性能与成本达到了较优的水平。 演讲提纲： 1.GooseFS 加速存储的核心架构 2.GooseFS 在腾讯内部实时 OLAP 搜索场景上的应用落地 3.GooseFS 在低延迟查询搜索请求上的架构演进与性能优化 4.总结 听众收益
52810编辑于 2024-06-16 - 来自专栏ApacheHudi
印尼医疗龙头企业Halodoc的数据平台转型之Lakehouse架构
我们两年前建立的可能无法支持我们今天管理的数据量，以解决我们决定改进数据平台架构的问题。 在这篇博客中，我们将讨论我们的新架构、涉及的组件和不同的策略，以拥有一个可扩展的数据平台。 2. 新架构 让我们首先看一下经过改进的新数据平台 2.0 的高级架构。 我们将架构分为 4 层： 1. 5. Glue数据目录 AWS Glue 数据目录用于注册表，并可通过 Athena 进行查询以进行临时分析。 6. Athena Athena 是一个无服务器查询引擎，支持查询 S3 中的数据。 由于我们在 5 分钟内运行了大部分事务表迁移，因此我们将 hoodie.cleaner.commits.retained 设置为 15，以便我们有 75 分钟的时间来完成 ETL 作业。 5. 为什么框架驱动 我们之前的大部分实施都是管道驱动的，这意味着我们为每个数据源手动构建管道以服务于业务用例。
2.4K20编辑于 2022-05-18 - 来自专栏ApacheHudi
LakeHouse 还是 Warehouse？(12)
我将描述整体架构，如何思考问题，以及应该留在当前的架构中还是继续演进。 湖仓一体现已在技术上得到验证，包括以下公司用例： • Uber[2] • Robinhood[3] • Amazon[4] • Bytedance[5] • Walmart[6] • Disney[7] 现在LakeHouse中的世界更加结构化。 可以看到这些架构是如何相互接近的 从本质上讲，我们添加了一个事务管理层，一堆可以优化表的东西，类似于在仓库中找到的东西，比如对表进行聚簇，架构管理或统计信息，只是跟踪表的更具可扩展性的文件级统计信息，架构的其余部分几乎相同 从某种意义上说 LakeHouse 试图将两者融合在一起，但挑战也存在，这些进步是必要的。
36710编辑于 2024-01-23 - 来自专栏ApacheHudi
基于 XTable 的 Dremio Lakehouse分析
这创建了一个面向未来的架构，可以在需要时将新工具添加到技术栈中。 尽管有这些优点，但仍存在一个障碍：需要选择单一表格格式，这带来了重大挑战，因为每种格式都具有独特的功能和集成优势。 Iceberg 的功能（如隐藏分区[5]和数据版本控制）与 Dremio 的分析工作负载查询加速功能无缝配对。这种组合使团队 B 能够执行复杂的分析，并轻松高效地生成 BI 报告。 如果我们现在检查 S3 位置路径，我们将看到 Iceberg 元数据文件，其中包括架构定义、提交历史记录、分区信息和列统计信息等详细信息。这是 S3 中的元数据文件夹。 自动表管理功能: [https://hudi.apache.org/docs/next/clustering](https://hudi.apache.org/docs/next/clustering) [5]
87910编辑于 2024-06-08 - 来自专栏ApacheHudi
沃尔玛基于 Apache Hudi 构建 Lakehouse
Ankur 和 Ayush 分享了他们从沃尔玛从数据湖到数据 Lakehouse 架构的战略转变的动机和经验，重点关注了 Apache Hudi Lakehouse 格式在实现这一变化中的重要性。 他们的一些主要收获是促使使用数据 Lakehouse 的挑战以及采用通用 Lakehouse 架构的好处。 这些好处结合了数据湖和数据仓库架构的优点，包括更快的行级操作、强大的模式实施和版本控制、更好的事务支持、有效的重复处理等等。 了解 Apache Hudi 随着这种自然的演变，Ankur 和 Ayush 旅程的下一步是为沃尔玛选择正确的数据Lakehouse架构。 Lakehouse 由于其部分更新支持而减少了数据分叉（图 5 中的步骤 2）。以前团队经常使用单独的 NoSQL 数据库（例如 MongoDB）来支持这一重要用例。
38910编辑于 2024-03-18 - 来自专栏深度学习与python
Lakehouse 如何重塑企业数据生态？
完整直播回放可查看：https://www.infoq.cn/video/dZmjyL6SMA5bTeet3oLS 1 Lakehouse 架构的演进与关键趋势 伍翀： 过去一年 Lakehouse Lakehouse 架构，那么 Lakehouse 未来的关键发展趋势有哪些？ 最后，我认为未来 Lakehouse 架构将会更加标准化。 这些因素都会影响企业在引入实时 Lakehouse 架构时的选型决策。 在确定选型之后，还需考虑如何让新的 Lakehouse 架构与现有的企业生态兼容。 因此，即使是 Lakehouse 架构，底层的 HDFS 并不会因为架构的变化而被完全替代。
54410编辑于 2025-03-21 - 来自专栏ApacheHudi
加速 Lakehouse 表性能完整指南
这就是 Lakehouse 的性能调整非常重要的地方。 Lakehouse 和开放表格式可以通过存储和计算的解耦来显着节省成本，并利用云超大规模存储服务实现近乎无限可扩展的存储。 如何优化 Data Lakehouse 性能 在本节中，我们将讨论 Lakehouse 表实现性能提升的常见方法，以及工程师如何利用这些技术来发挥我们的优势。 其中许多功能都应用于 Lakehouse 表格式使用的底层 Parquet 文件，因此在使用Apache XTable[5]等互操作性层时，其中一种表格式所取得的收益会反映在所有三种格式中。 我在下面提供了一个通过Onehouse 的 Table Optimizer[23]运行的示例清理作业，该作业以每 5 次提交的间隔运行清理服务，并保留 2 天的提交历史记录。 de3d8547d31e71355dda68c54a3ecefe.1721135242002.1736199423630.1736372767573.26&__hssc=17958374.1.1736372767573&__hsfp=130792607 [5]
60000编辑于 2025-01-20 StarRocks 4.0：Real-Time Intelligence on Lakehouse
StarRocks 3.x，升级存算分离架构，打造极速统一的湖仓分析能力，让数据分析更加的简单高效。 Agent 构建对数据平台提出新挑战；数据新鲜度要求更实时，查询延时与并发要求更高、数据处理效率与性价比要求更高，StarRocks 4.x 大版本将以 Real-Time Intelligence on Lakehouse 实时分析更高效StarRocks 3.x 在存算分离架构下，基于低成本的对象存储构建实时分析能力，相比存算一体的方案在存储成本上有了数量级的下降。 展望未来StarRocks 4.0 是 Real-Time Intelligent on Lakehouse 的新起点，StarRocks 4.x 系列版本将继续深化核心能力，打造 Agent-ready Fast Delivery：Lakehouse 架构是 AI 时代的数据基座，StarRocks 持续优化 Lakehouse 构建、治理与分析的能力，让数据到业务价值的交付变得更加高效。
46310编辑于 2025-10-28- 来自专栏ApacheHudi
Notion 基于Apache Hudi构建LakeHouse
正是看到这种模式，促使 Notion 团队转向通用数据 Lakehouse 架构，该架构将更好地支持这种观察到的更新模式。 使用 Apache Hudi 解决挑战 该团队当时有多种架构选择 - Apache Hudi、Apache Iceberg 和 Delta Lake（Databricks 使用的内部 Delta Lakehouse 架构的开源版本）。 摄取到 Debezium CDC，该数据通过 Kafka 传输，然后馈送到 Hudi 以针对 Hudi 数据集进行批量增量更新，最后推送到下游到 Apache Spark 管道以执行 ETL，如图 5 还指出了 Hudi 的 Lakehouse 架构对其数据基础设施的好处，并指出 Hudi 为 Notion 节省了 125 万美元的成本并提高了性能。
49810编辑于 2024-03-06 - 来自专栏大数据
四大主流大数据架构详解与实战：MPP、Lambda、Kappa、Lakehouse，附存储选型指南
MPP、Lambda、Kappa、Lakehouse四大架构，作为当前企业落地最广泛的方案，各有优劣、各有适配场景，而数据存储作为架构的“基石”，直接决定了架构落地的效率与性价比。 Lakehouse架构：数据湖+数据仓库融合，兼顾灵活性与高性能，适合海量多类型数据、需统一分析的场景，存储需支持ACID事务与多模式访问。核心提醒：没有“最优架构”，只有“最适配架构”。 2.4Lakehouse架构：数据湖与数据仓库的“融合王者”2.4.1核心原理Lakehouse（数据湖仓）架构是近年来最热门的大数据架构，核心思路是“融合数据湖的灵活性和数据仓库的高性能”——既保留数据湖 选型禁忌：中小型企业谨慎选型（Lakehouse架构复杂度高，运维成本高，需专业团队）；数据量级较小（TB级以下），无需使用Lakehouse（性价比低，不如MPP或Lambda架构）。 想简化架构，选Kappa架构；大型企业、海量多类型数据、统一分析，选Lakehouse架构。
61821编辑于 2026-03-09 - 来自专栏ApacheHudi
基于 Apache Hudi + dbt 构建开放的Lakehouse
本博客的重点展示如何利用增量数据处理和执行字段级更新来构建一个开放式 Lakehouse。我们很高兴地宣布，用户现在可以使用 Apache Hudi + dbt 来构建开放Lakehouse。 什么是Lakehouse？ Lakehouse 是一种新的开放式架构，它结合了数据湖和数据仓库的最佳元素。 如何建造一个开放的Lakehouse？ 这是构建Lakehouse的第一步，这里有很多选择可以将数据加载到我们的开放Lakehouse中。 物化是在 Lakehouse 中持久化 dbt 模型的策略。
1.7K10编辑于 2022-12-09 - 来自专栏Tom弹架构
Spring 5系统架构
Spring 5的模块结构如下图所示。 [file] 组成Spring框架的每个模块都可以单独存在，也可以将一个或多个模块联合实现。下面分别介绍每类模块的组成和功能。 3 数据访问与集成 数据访问与集成由spring-jdbc、spring-tx、spring-orm、spring-oxm和spring-jms 5个模块组成。 5 通信报文 通信报文即spring-messaging模块，它是Spring 4新加入的一个模块，主要职责是为Spring 框架集成一些基础的报文传送应用。 8 各模块之间的依赖关系 Spring官网对Spring 5各模块之间的关系做了详细说明，如下图所示。 [file] 下图对Spring 5各模块做了一次系统的总结，描述了模块之间的依赖关系，希望能对“小伙伴们”有所帮助。 [file]
53420编辑于 2021-12-30 - 来自专栏Tom弹架构
Spring 5系统架构
Spring 5的模块结构如下图所示。 组成Spring框架的每个模块都可以单独存在，也可以将一个或多个模块联合实现。下面分别介绍每类模块的组成和功能。 4.3 数据访问与集成 数据访问与集成由spring-jdbc、spring-tx、spring-orm、spring-oxm和spring-jms 5个模块组成。 4.8 各模块之间的依赖关系 Spring官网对Spring 5各模块之间的关系做了详细说明，如下图所示。 下图对Spring 5各模块做了一次系统的总结，描述了模块之间的依赖关系，希望能对“小伙伴们”有所帮助。
56840编辑于 2022-04-25 - 来自专栏Tom弹架构
Spring 5系统架构
Spring 5的模块结构如下图所示。 [图片1.png] 组成Spring框架的每个模块都可以单独存在，也可以将一个或多个模块联合实现。下面分别介绍每类模块的组成和功能。 3 数据访问与集成 数据访问与集成由spring-jdbc、spring-tx、spring-orm、spring-oxm和spring-jms 5个模块组成。 8 各模块之间的依赖关系 Spring官网对Spring 5各模块之间的关系做了详细说明，如下图所示。 [图片2.png] 下图对Spring 5各模块做了一次系统的总结，描述了模块之间的依赖关系，希望能对“小伙伴们”有所帮助。 [图片3.png] 本文为“Tom弹架构”原创，转载请注明出处。 关注微信公众号“Tom弹架构”可获取更多技术干货！
55400发布于 2021-10-22 Lakehouse x AI ，打造智能 BI 新体验
Lakehouse 引擎底座，助力 BI 从“被动查询”迈向“主动决策”，开启数据“会说话”的新体验。 为什么 Lakehouse 正在成为智能分析的关键基石？ Lakehouse 之所以成为智能分析的核心基座，关键在于其兼具统一存储、高性能查询与 AI 原生支持三大能力，真正打通了从数据准备到模型训练、推理的全流程。 在智能分析场景中，数据通常经历 ETL 与特征工程 → 模型训练（training）→ 推理（inference）→ 服务（serving）等环节，整个链路的读取与存储均依赖 Lakehouse 架构中具备 StarRocks 的 lakehouse 架构赋能实时智能分析StarRocks 构建了统一的 Lakehouse 架构，有效支撑从数据接入、处理、分析到 AI 推理的全链路能力，正成为智能分析的关键底座
40910编辑于 2025-07-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号