- 综合排序
- 最热优先
- 最新优先
- 来自专栏ApacheHudi
Lakehouse架构指南
可以基于多种技术构建，例如 Hadoop、NoSQL、Amazon Simple Storage Service、关系数据库，或各种组合和不同格式（例如 Excel、CSV、文本、日志、Apache Parquet[9] Lakehouse具有开放的数据管理架构，结合了数据湖的灵活性、成本效益和规模。 关于数据湖和Lakehouse请参阅有关现代数据基础架构[18]的新兴架构的完整架构。 在现代数据基础设施的新兴架构[19]中，Lakehouse架构越来越得到认可，并通过知名供应商（包括 Databricks、Google Cloud、Starburst 和 Dremio）和数据仓库先驱的采用情况验证了这点 统一的批处理和流式处理 统一的批处理和流式处理意味着 Lambda[32] 架构已过时。数据架构无需在批处理和流式中区分——它们都以相同的表结束，复杂性更低，速度更快。
2.8K20编辑于 2022-12-09 - 来自专栏麒思妙想
What is a Lakehouse?
解决数据湖限制的新系统开始出现，LakeHouse是一种结合了数据湖和数据仓库优势的新范式。 LakeHouse使用新的系统设计：直接在用于数据湖的低成本存储上实现与数据仓库中类似的数据结构和数据管理功能。 如果你现在需要重新设计数据仓库，鉴于现在存储（以对象存储的形式）廉价且高可靠，不妨可以使用LakeHouse。 What is a lakehouse? A lakehouse has the following key features: Transaction support: In an enterprise lakehouse many data
99120发布于 2020-07-10 - 来自专栏MySQL解决方案工程师
MySQL HeatWave Lakehouse
MySQL HeatWave Lakehouse介绍 MySQL HeatWave Lakehouse除了具有MySQL HeatWave的优势，还提供了以下功能： 向外扩展的体系结构，可以快速摄取、管理和执行查询 MySQL HeatWave Lakehouse自动将所有数据源转换为单一优化的内部格式。 端到端的扩展架构 MySQL HeatWave Lakehouse由一个大规模并行、高性能、内存查询处理引擎提供动力，优化后可以在节点集群中管理0.5PB级的数据大小。 因此，开发团队设计了HeatPump，这是一个大规模并行和可扩展的数据转换引擎，它充分利用集群中的所有节点和核心，提供一个真正向外扩展的湖仓架构。 HeatPump进程的向外扩展架构完美地划分、平衡任务，并利用每一个可用的CPU核心来获得外部文件的查询准备。HeatPump保证了集群中所有512个节点的同时使用，保证了强大的可扩展性。
1.4K20编辑于 2022-11-21 - 来自专栏ApacheHudi
揭秘Robinhood扩展和管理PB级规模Lakehouse架构
实施 Robinhood 数据Lakehouse架构 Robinhood 数据 Lakehouse 生态系统支持超过一万个数据源，处理数 PB 数据集，并处理数据新鲜度模式（从近实时流到静态）、数据关键性 Robinhood 对所有各种用例的支持是建立在多层架构之上的，关键性最高的数据在第 0 层进行处理，后续层用于处理具有较低约束的数据，该 Lakehouse架构满足 Robinhood 的需求 每层中的数据处理都从数据源开始 在启动之前会完成一次性引导过程，确保在数据Lakehouse中定义初始目标表和架构 - 预期 Debezium 驱动的变更数据捕获 (CDC) 流。 对这种分层架构的支持是建立在 Apache Hudi 的核心功能和 Lakehouse 的其他 OSS 组件的混合之上的。 区域标签和相关元数据用于跟踪和传播有关整个Lakehouse不同区域的信息。Robinhood 的团队实施了中央元数据服务来支持这些区域。该服务建立在我们上面看到的新鲜度元数据相同的分层架构之上。
57410编辑于 2024-04-26 - 来自专栏深度学习与python
专访李潇：数据智能平台，AI 时代的 Lakehouse 架构
Lakehouse 平台的增长：Lakehouse 平台在数据仓储领域的使用正迅速增加。这反映了一个重要的趋势：组织正从传统的数据处理平台过渡到更加灵活、集成和效率更高的现代数据架构。 据 2023 年 MIT Technology Review Insights 报告，全球 74% 的首席信息官（CIOs）表示他们已经在使用 Lakehouse 架构。 接下来是 Lakehouse 架构的推出阶段。这一阶段发生在 2020 年，打破了传统数据湖和数据仓库的界限。 Lakehouse 架构结合了数据湖和数据仓库的最佳元素，旨在降低成本并加速数据及人工智能项目的实施。 Lakehouse 架构建立在开源和开放标准之上，它通过消除历史上复杂化数据和 AI 的孤岛，简化了数据架构。值得注意的是，Apache Spark 只是 Lakehouse 架构中的可选模块之一。
66310编辑于 2024-01-23 - 来自专栏腾讯云存储
直播预告| Lakehouse 湖仓一体化架构论坛
在大模型时代，企业将如何进行湖仓一体化架构选型？下一代Lakehouse架构方向又在哪里？未来面临着怎么样的挑战？ 让我们在6月15日举办的以「大模型时代的 OLAP 技术演进」为主题的第58届DataFunSummit：OLAP 线上峰会中，「Lakehouse 湖仓一体化架构」论坛上看头部企业如何做！ 精彩内容，扫码报名，免费参会 本次Lakehouse湖仓一体化架构论坛的出品人程力老师，腾讯云数据湖存储的负责人，他对数据湖仓存储架构有着深入的理解与丰富的实践经验。 通过构建两级缓存架构与混合部署，让整个基于对象存储架构构建的查询性能与成本达到了较优的水平。 演讲提纲： 1.GooseFS 加速存储的核心架构 2.GooseFS 在腾讯内部实时 OLAP 搜索场景上的应用落地 3.GooseFS 在低延迟查询搜索请求上的架构演进与性能优化 4.总结 听众收益
52810编辑于 2024-06-16 - 来自专栏ApacheHudi
印尼医疗龙头企业Halodoc的数据平台转型之Lakehouse架构
我们两年前建立的可能无法支持我们今天管理的数据量，以解决我们决定改进数据平台架构的问题。 在我们之前的博客中，我们谈到了现有平台的挑战以及为什么我们需要采用 Lake House 架构来支持业务和利益相关者以轻松访问数据。 在这篇博客中，我们将讨论我们的新架构、涉及的组件和不同的策略，以拥有一个可扩展的数据平台。 2. 新架构 让我们首先看一下经过改进的新数据平台 2.0 的高级架构。 我们将架构分为 4 层： 1. 9. Cloud Watch和EFK Cloud Watch 和 EFK 相结合，构建集中的日志记录、监控和警报系统。 10. 概括 在这篇博客中，我们查看了 Lake House 架构、构建平台 2.0 所涉及的所有组件，以及我们将 HUDI 用作数据湖的关键要点。
2.4K20编辑于 2022-05-18 - 来自专栏ApacheHudi
LakeHouse 还是 Warehouse？(12)
我将描述整体架构，如何思考问题，以及应该留在当前的架构中还是继续演进。 使用 Apache Hudi 等湖仓一体技术管理 EB 级别数据 作为一个从观察数据库大战开始职业生涯的人发现一些有趣的头条新闻： • Databricks 创下官方数据仓库性能记录[9] • Snowflake 现在LakeHouse中的世界更加结构化。 可以看到这些架构是如何相互接近的 从本质上讲，我们添加了一个事务管理层，一堆可以优化表的东西，类似于在仓库中找到的东西，比如对表进行聚簇，架构管理或统计信息，只是跟踪表的更具可扩展性的文件级统计信息，架构的其余部分几乎相同 从某种意义上说 LakeHouse 试图将两者融合在一起，但挑战也存在，这些进步是必要的。
36710编辑于 2024-01-23 - 来自专栏ApacheHudi
基于 XTable 的 Dremio Lakehouse分析
这创建了一个面向未来的架构，可以在需要时将新工具添加到技术栈中。 尽管有这些优点，但仍存在一个障碍：需要选择单一表格格式，这带来了重大挑战，因为每种格式都具有独特的功能和集成优势。 如果我们现在检查 S3 位置路径，我们将看到 Iceberg 元数据文件，其中包括架构定义、提交历史记录、分区信息和列统计信息等详细信息。这是 S3 中的元数据文件夹。
87910编辑于 2024-06-08 - 来自专栏ApacheHudi
沃尔玛基于 Apache Hudi 构建 Lakehouse
Ankur 和 Ayush 分享了他们从沃尔玛从数据湖到数据 Lakehouse 架构的战略转变的动机和经验，重点关注了 Apache Hudi Lakehouse 格式在实现这一变化中的重要性。 他们的一些主要收获是促使使用数据 Lakehouse 的挑战以及采用通用 Lakehouse 架构的好处。 这些好处结合了数据湖和数据仓库架构的优点，包括更快的行级操作、强大的模式实施和版本控制、更好的事务支持、有效的重复处理等等。 了解 Apache Hudi 随着这种自然的演变，Ankur 和 Ayush 旅程的下一步是为沃尔玛选择正确的数据Lakehouse架构。 在组织中启用 Apache Hudi 鉴于 Ankur 提供的 Apache Hudi 的工作直觉，Ayush 深入研究了 Apache Hudi 在组织中的实际启用，解决了他经常遇到的一个问题：“在我的数据湖架构中启用
38910编辑于 2024-03-18 - 来自专栏ApacheHudi
加速 Lakehouse 表性能完整指南
这就是 Lakehouse 的性能调整非常重要的地方。 Lakehouse 和开放表格式可以通过存储和计算的解耦来显着节省成本，并利用云超大规模存储服务实现近乎无限可扩展的存储。 如何优化 Data Lakehouse 性能 在本节中，我们将讨论 Lakehouse 表实现性能提升的常见方法，以及工程师如何利用这些技术来发挥我们的优势。 Iceberg 最近添加了对 COW 和 MOR 表的支持[8]，而Delta 的删除向量[9]在删除操作上提供了与 MOR 表类似的功能。 索引 索引于 2020 年首次在 Apache Hudi 中添加到数据Lakehouse中。 merge-on-read-table [8] 支持: https://bigdataenthusiast.medium.com/apache-iceberg-table-formats-bf0c2c09b389 [9]
60000编辑于 2025-01-20 - 来自专栏深度学习与python
Lakehouse 如何重塑企业数据生态？
Lakehouse 架构，那么 Lakehouse 未来的关键发展趋势有哪些？ 最后，我认为未来 Lakehouse 架构将会更加标准化。 因此另一个挑战是，Lakehouse 架构需要提供一套高性能的 Python 读写接口，以供 AI 框架使用。在不损失原始读写性能的情况下，这对 Lakehouse 架构提出了更高的要求。 这些因素都会影响企业在引入实时 Lakehouse 架构时的选型决策。 在确定选型之后，还需考虑如何让新的 Lakehouse 架构与现有的企业生态兼容。 因此，即使是 Lakehouse 架构，底层的 HDFS 并不会因为架构的变化而被完全替代。
54410编辑于 2025-03-21 StarRocks 4.0：Real-Time Intelligence on Lakehouse
StarRocks 3.x，升级存算分离架构，打造极速统一的湖仓分析能力，让数据分析更加的简单高效。 Agent 构建对数据平台提出新挑战；数据新鲜度要求更实时，查询延时与并发要求更高、数据处理效率与性价比要求更高，StarRocks 4.x 大版本将以 Real-Time Intelligence on Lakehouse 实时分析更高效StarRocks 3.x 在存算分离架构下，基于低成本的对象存储构建实时分析能力，相比存算一体的方案在存储成本上有了数量级的下降。 展望未来StarRocks 4.0 是 Real-Time Intelligent on Lakehouse 的新起点，StarRocks 4.x 系列版本将继续深化核心能力，打造 Agent-ready Fast Delivery：Lakehouse 架构是 AI 时代的数据基座，StarRocks 持续优化 Lakehouse 构建、治理与分析的能力，让数据到业务价值的交付变得更加高效。
46310编辑于 2025-10-28- 来自专栏ADAS性能优化
Armv9安全新架构
Arm在今年3月份推出了ARmv9.Arm 期望Armv9架构将是未来3000亿颗基于Arm架构芯片的技术先驱，而Armv9架构中，ARM 提供了机密计算Arm Confidential ComputeArchitecture (Arm CCA)的安全新架构。 Arm CCA 是一系列硬件和软件架构创新，这些创新增强了Arm 对机密计算的支持。Arm CCA 是 Armv9-A架构的关键组件。 Arm CCA 提供额外的安全架构，即使在使用中也能保护数据和代码，并能够更好地控制谁可以访问数据和算法。 这项在 Armv9-A 中引入的技术将通过降低与共享数据相关的风险并帮助开发人员实施强大的隐私控制来帮助释放数据的真正力量和潜力。
1.2K20编辑于 2022-05-13 - 来自专栏闲余说
架构设计 9-可扩展架构之分层架构
导读：《架构设计》系列为极客时间李运华老师《从0开始学架构》课程笔记。本文为第九部分。首先整体介绍可扩展架构的基本思想——“拆”，以及如何拆；随后介绍了面向流程的拆分，即分层架构。 典型架构：SOA & 微服务 面向功能拆分 方案：将系统提供的功能拆分，每个功能作为一部分 优势：对某个功能扩展，或者要增加新的功能时，只需要扩展相关功能即可，无须修改所有的服务 典型架构：微内核架构 分层架构 概念：分层架构是很常见的架构模式，它也叫 N 层架构，通常情况下，N 至少是 2 层。 根据不同的划分维度和对象可分为：C/S 架构&B/S 架构、MVC 架构&MVP 架构、逻辑分层架构。 C/S 架构、B/S 架构 划分的对象是整个业务系统 划分的维度是用户交互，即将和用户交互的部分独立为一层，支撑用户交互的后台作为另外一层 MVC 架构、MVP 架构 划分的对象是单个业务子系统 划分的维度是职责
91110编辑于 2022-08-19 - 来自专栏ApacheHudi
Notion 基于Apache Hudi构建LakeHouse
正是看到这种模式，促使 Notion 团队转向通用数据 Lakehouse 架构，该架构将更好地支持这种观察到的更新模式。 使用 Apache Hudi 解决挑战 该团队当时有多种架构选择 - Apache Hudi、Apache Iceberg 和 Delta Lake（Databricks 使用的内部 Delta Lakehouse 架构的开源版本）。 实施新的通用LakeHouse的回报是巨大的。由于整个系统的性能大幅提高，特别是替换了以前缓慢且昂贵的数据加载到 Snowflake 中，该团队立即节省了 125 万美元。 还指出了 Hudi 的 Lakehouse 架构对其数据基础设施的好处，并指出 Hudi 为 Notion 节省了 125 万美元的成本并提高了性能。
49810编辑于 2024-03-06 - 来自专栏大数据
四大主流大数据架构详解与实战：MPP、Lambda、Kappa、Lakehouse，附存储选型指南
MPP、Lambda、Kappa、Lakehouse四大架构，作为当前企业落地最广泛的方案，各有优劣、各有适配场景，而数据存储作为架构的“基石”，直接决定了架构落地的效率与性价比。 Lakehouse架构：数据湖+数据仓库融合，兼顾灵活性与高性能，适合海量多类型数据、需统一分析的场景，存储需支持ACID事务与多模式访问。核心提醒：没有“最优架构”，只有“最适配架构”。 2.4Lakehouse架构：数据湖与数据仓库的“融合王者”2.4.1核心原理Lakehouse（数据湖仓）架构是近年来最热门的大数据架构，核心思路是“融合数据湖的灵活性和数据仓库的高性能”——既保留数据湖 选型禁忌：中小型企业谨慎选型（Lakehouse架构复杂度高，运维成本高，需专业团队）；数据量级较小（TB级以下），无需使用Lakehouse（性价比低，不如MPP或Lambda架构）。 想简化架构，选Kappa架构；大型企业、海量多类型数据、统一分析，选Lakehouse架构。
61721编辑于 2026-03-09 - 来自专栏ApacheHudi
基于 Apache Hudi + dbt 构建开放的Lakehouse
本博客的重点展示如何利用增量数据处理和执行字段级更新来构建一个开放式 Lakehouse。我们很高兴地宣布，用户现在可以使用 Apache Hudi + dbt 来构建开放Lakehouse。 什么是Lakehouse？ Lakehouse 是一种新的开放式架构，它结合了数据湖和数据仓库的最佳元素。 如何建造一个开放的Lakehouse？ 这是构建Lakehouse的第一步，这里有很多选择可以将数据加载到我们的开放Lakehouse中。 物化是在 Lakehouse 中持久化 dbt 模型的策略。
1.7K10编辑于 2022-12-09 Lakehouse x AI ，打造智能 BI 新体验
Lakehouse 引擎底座，助力 BI 从“被动查询”迈向“主动决策”，开启数据“会说话”的新体验。 为什么 Lakehouse 正在成为智能分析的关键基石？ Lakehouse 之所以成为智能分析的核心基座，关键在于其兼具统一存储、高性能查询与 AI 原生支持三大能力，真正打通了从数据准备到模型训练、推理的全流程。 在智能分析场景中，数据通常经历 ETL 与特征工程 → 模型训练（training）→ 推理（inference）→ 服务（serving）等环节，整个链路的读取与存储均依赖 Lakehouse 架构中具备 StarRocks 的 lakehouse 架构赋能实时智能分析StarRocks 构建了统一的 Lakehouse 架构，有效支撑从数据接入、处理、分析到 AI 推理的全链路能力，正成为智能分析的关键底座
40910编辑于 2025-07-26- 来自专栏ApacheHudi
使用 Apache Hudi + Daft + Streamlit 构建 Lakehouse 分析应用
开放湖仓一体平台 随着越来越多的组织过渡到使用开放表格式在数据湖上进行事务，湖仓一体架构越来越受欢迎。 这种模块化方法创建了一个面向未来的架构，可以根据需要将新的计算引擎添加到堆栈中。 然而，在单节点架构中直接使用来自湖仓一体的数据的需求正变得至关重要，尤其是在进行临时分析和构建分析应用程序时，这加快了洞察过程的时间。对于此类用例并不总是需要经历设置基础架构的繁琐过程。 在开始编写代码之前概述一个简约的湖仓一体架构，作为仪表板的基础。这也将介绍我们在本练习中使用的工具。这里使用的所有工具都是开源的。 通过支持直接访问数据的开放数据架构可以避免这种情况。
1.1K10编辑于 2024-05-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号