- 综合排序
- 最热优先
- 最新优先
- 来自专栏JAVA开发专栏
原生数据湖体系
数据湖无缝对接多种计算分析平台，对Hadoop生态支持良好，存储在数据湖中的数据可以直接对其进行数据分析，处理、查询、通过对数据深入挖掘与分析，洞察数据中蕴含的价值。 Ozone，从HDFS到对象存储，从数据仓库到数据湖，把所有的数据都放在一个统一存储中，也可以更加高效地进行分析和处理。 Hadoop原生的存储系统，经过10年来的发展，HDFS已经成为大数据生态的存储标准，但是我们看到HDFS虽然不断的优化，但是NameNode单点瓶颈，JVM瓶颈仍然影响着集群的扩展，从1PB到100PB ，需要不断的进行调优、集群拆分来，HDFS可以支持到EB级别，但是投入很高的运维成本，来解决慢启动，心跳风暴、节点扩容、节点迁移、数据平衡等问题 云原生的大数据存储方案，基于阿里云OSS构件数据湖最合适的选择 数据湖的构件 数据湖元数据服务的实现和挑战 大数据的引擎的现状 在大数据计算和存储领域，因不同业务场景、不同数据规模，诞生了很多适合处理不同需求的各类的大数据引擎，比如说计算引擎类有数据分析引擎Hive
94431编辑于 2022-12-15 - 来自专栏【腾讯云开发者】
云原生数据湖101
，并且首次推出腾讯云的云原生数据湖产品。 二、云原生数据湖架构三大原则 云原生数据湖架构的核心理念是低成本，并且追求不俗的性能。 展望数据湖解决方案 未来，腾讯云数据湖解决方案建设将以对象存储 COS 为数据湖存储，以容器服务为云原生资源调度，以数据湖构建 DLF 为统一元数据纽带，构建腾讯云上的数仓建模、数据分析、机器学习的数据湖解决方案 数据入湖构建 快速构建数据湖，以及在各种数据之间同步和处理数据，为高性能分析数据计算作数据准备。 2. 数据分析 用户可直接查询和计算 COS 桶中的数据，而无需将数据聚合或加载到数据湖计算中。 联邦分析 数据湖计算支持对多源异构数据进行联合查询分析，包括对象存储、云数据库、大数据服务等。用户通过统一的数据视图，使用标准的 SQL 即可实现多源数据联合查询分析。
83610发布于 2021-03-11 StarRocks x Iceberg：云原生湖仓分析技术揭秘与最佳实践
导读：本文将深入探讨基于 StarRocks 和 Iceberg 构建的云原生湖仓分析技术，详细解析两者结合如何实现高效的查询性能优化。 作者：杨关锁，北京镜舟科技研发工程师一、StarRocks Lakehouse 架构介绍1.1 什么是 LakehouseLakehouse 湖仓一体架构是一种融合数据湖与数据仓库优势的新型架构，既具备数据湖开放统一的存储能力 （支持多源异构数据低成本存储），又拥有数据仓库的高性能分析特性。 其核心是构建统一数据存储底座（即 Single Source of Truth），基于同一套标准化数据资产，同时支撑多样化业务负载，覆盖企业 AI 建模、BI 分析等数据应用场景，实现从数据存储、治理到分析的全链路效率提升 若执行计划已最优，需进一步分析元数据解析是否成为瓶颈。
65611编辑于 2025-05-30- 来自专栏【腾讯云开发者】
PB 级数据秒级分析：腾讯云原生湖仓DLC 架构揭秘
导读｜过去几年，数据湖能力已经在腾讯内部包括微信视频号、小程序等多个业务大规模落地，数据规模达到 PB至 EB 级别。在此基础上，腾讯自研业务也启动了云原生湖仓能力建设。云原生湖仓架构最大的挑战什么？ 云原生湖仓的诞生背景、价值、挑战 当前这个阶段，相信大家对于数据湖，数据仓，湖仓一系列的名词已经不算陌生了，我用最直白、最狭义方式去解释“湖仓”的话，就是数据湖跟数仓存储架构统一。 伴随着这个需求的升级，现代湖仓架构的基础也随之产生。 云原生湖仓又是什么呢？最狭义的理解就是容器计算 + K8s。 湖仓背景下的建模新思路 接下来一起看下，在云原生湖仓架构下，建模有有哪些新思路： 第一个，扁平湖仓架构，核心是不再维护复杂的数仓分层，而是把明细层的数据能够直接高性能分析；第二个是离线增量；第三个，现在业界比较时髦的新方向实时增量湖仓 结合前面讲的云原生湖仓做性能提升的各种手段，在明细层直接分析的扁平湖仓架构的时代自然是大势所趋了。当然最好能结合 BI 工具的时序结果缓存，这样 BI 层都可以省去。
1.6K20编辑于 2023-01-04 - 来自专栏深度学习与python
腾讯安全发布云原生安全数据湖
9 月 20 日，腾讯安全发布全新一代云原生安全数据湖，专注海量日志数据分析，助力企业构建一体化云原生数据湖平台，迈向主动安全。 两年前，腾讯安全在服务客户过程中发现，客户普遍反应遇到日志存储成本攀升、查询效率低下的问题，因此腾讯安全大数据实验室基于多年的大数据分析处理能力，前后花费两年时间自主研发了一款面向云原生的安全数据湖产品 腾讯云原生安全数据湖是基于云原生的自研数据分析平台，利用日志数据无需修改、大量字段重复、有时间戳等特性进行了几大创新： 架构领先：MPP 架构，采用 Rust 语言开发，针对日志及安全场景进行专项优化 此外，腾讯云原生安全数据湖支持泛安全数据接入、加工、存储、分析、告警、可视化等服务，还具备“插件化”应用开发能力，企业用户可根据需求定制上层应用，并通过平台 +APP+ 合作伙伴构建完整的日志应用生态体系 目前，该数据湖已经集成在腾讯安全 SOC+ 产品下，为企业安全运营管理提供基座。未来，腾讯安全还会对外提供独立产品，助力企业构建云原生数据湖平台。
1.4K21编辑于 2023-09-24 - 来自专栏大数据&云原生
Iceberg+Amoro+Cloudeon体验云原生数据湖
图片 安装AmoroAmoro是一个开源的数据湖管理系统。在安装Amoro之前，需要选择要安装的服务和节点，并准备好MySQL数据库。 分配角色实例到指定节点安装 图片 修改初始化配置，需要填写mysql信息，数据库得提前自行准备好 图片 安装成功图片 可以用在Kubernetes集群上看到对应的pod 图片 开启Iceberg支持Iceberg是一个数据湖开源项目 hdfs-namenode的pod shell，在hdfs上创建Iceberg的数据目录/Iceberg/warehouse 图片 Amoro上托管Iceberg在Amoro中，您可以托管Iceberg表，实现数据湖表的管理和自优化 这个环境不仅支持流式数据生成和处理还有批处理，还能借助Amoro实现数据湖表的自动优化性能，为大数据应用提供了可靠的基础设施。
1K20编辑于 2023-09-08 - 来自专栏超级架构师
【数据湖】Azure 数据湖分析（Azure Data Lake Analytics )概述
在本文中，我们将探索 Azure 数据湖分析并使用 U-SQL 查询数据。 Azure 数据湖分析 (ADLA) 简介 Microsoft Azure 平台支持 Hadoop、HDInsight、数据湖等大数据。 提取：从不同的数据源中提取数据 转换：将数据转换为特定格式 加载：将数据加载到预定义的数据仓库模式、表中 数据湖不需要严格的模式，并在分析之前将数据转换为单一格式。 ：将原始存储中的数据处理成兼容的格式 分析：使用存储和处理的数据执行数据分析。 您可以使用 Azure 数据湖分析 (ADLA)、HDInsight 或 Azure Databricks 本文 https://jiagoushi.pro/overview-azure-data-lake-analytics
1.5K20编辑于 2022-03-08 数据湖与数据湖计算的主流技术深度分析
本文将对数据湖领域的多个技术解决方案进行深度分析和对比，包括Serverless计算、多引擎查询（Spark/Presto/Flink）、统一元数据、统一权限、湖仓一体、数据目录、弹性伸缩和数据加速等功能 腾讯云数据湖计算DLC：腾讯云数据湖计算DLC 提供了Serverless的数据分析能力，支持用户在无需管理集群的情况下进行数据处理和分析。 Databricks Lakehouse：Databricks Lakehouse 结合了数据湖和数据仓库的优势，提供了Serverless的数据处理和分析能力。 结论 数据湖和数据湖计算技术的发展为企业提供了强大的数据处理和分析能力。 通过对比分析，我们可以看到各个解决方案在Serverless计算、多引擎查询、统一元数据、统一权限、湖仓一体、数据目录、弹性伸缩和数据加速等方面的特点和优势。
27710编辑于 2025-07-28- 来自专栏腾讯大数据的专栏
直播｜分析型湖仓论坛
介绍数据湖与实时数仓之间的异同以及湖仓融合的意义、常见湖仓融合方案的优劣 2. 解析腾讯大数据是如何解决当前湖仓融合的痛点，以及如何将实时数仓演变成新的实时湖仓融合架构 3. 腾讯大数据在湖仓融合领域的新探索 喻奎 阿里云智能 高级技术专家 个人介绍：哈工大本硕毕业后，进入阿里巴巴云智能集团工作近10年，一直从事大数据分布式计算分析引擎的设计开发工作，重点从事MaxCompute Impala 的内存优化 彭江涛 炎凰数据 研发工程师 个人介绍：毕业于上海交通大学，一直从事数据处理和数据分析相关的系统研发工作。 演讲题目：数据湖超车道：StarRocks 如何借助物化视图加速数据分析 演讲提纲：介绍 StarRocks 物化视图功能以及在数据湖分析场景的应用。 听众收益： 1. 物化视图的技术介绍 2. 如何加速数据湖分析
69220编辑于 2023-07-12 深度分析：数据湖、数据湖计算与Serverless计算的未来
在当前的大数据时代，数据湖和数据湖计算已成为企业数字化转型的关键技术。 ，如腾讯云数据湖计算DLC、Serverless数据湖、云原生数据湖阿里云Data Lake Analytics、AWS Athena、华为云DLI和Databricks Lakehouse。 阿里云Data Lake Analytics2也提供Serverless功能，支持用户在无服务器环境中运行分析任务。 湖仓一体 湖仓一体架构结合了数据湖的灵活性和数据仓库的性能。腾讯云数据湖计算DLC1通过其湖仓一体架构，提供了高性能的数据处理能力，同时保持了数据湖的开放性和灵活性。 企业在选择数据湖计算服务时，应根据自身需求和资源情况，综合考虑上述特性，以实现最佳的数据处理和分析效果。
20110编辑于 2025-07-28数据湖与数据湖计算的主流技术对比分析
在数字化转型的大潮中，数据湖作为一种新型的数据存储和管理方式，已经成为企业处理和分析大数据的关键工具。 本文将对目前市场上主流的数据湖技术进行深度分析和对比，包括Serverless计算、多引擎查询能力、统一元数据管理、统一权限控制、湖仓一体架构、数据目录管理、计算弹性伸缩以及数据加速技术。 以下是一些主流的Serverless数据湖产品： 腾讯云数据湖计算DLC：腾讯云数据湖计算DLC 提供了Serverless的计算能力，用户无需管理集群，即可进行大规模数据的分析处理。 湖仓一体 湖仓一体架构结合了数据湖和数据仓库的优点，提供了更好的数据处理能力。 腾讯云数据湖计算DLC：支持湖仓一体架构，简化了数据管理。 阿里云Data Lake Analytics：支持湖仓一体架构。 AWS Athena：与Redshift等数据仓库服务结合，提供了湖仓一体的解决方案。 华为云DLI：支持湖仓一体架构。
28110编辑于 2025-07-28- 来自专栏腾讯云大数据
QCon大会实录：PB级数据秒级分析-腾讯云原生湖仓DLC架构揭秘
导语 文章整理了全球软件开发大会QCon《PB级数据秒级分析-腾讯云原生湖仓DLC架构揭秘》。 云原生湖仓架构最大的挑战什么？腾讯云原生湖仓DLC从哪些方面着手解决问题？ 接下来掌声有请腾讯云大数据专家工程师于华丽为大家带来他的分享【PB 级数据秒级分析，腾讯云原生湖仓 DLC 架构揭秘】 于华丽：大家下午好，我是于华丽来自于腾讯大数据。 非常荣幸代表腾讯云原生湖仓DLC团队来到qcon，分享DLC做到pb级数据秒级分析的背后的架构逻辑。 第三部分：湖仓背景下的建模新思路 接下来一起看下，在云原生湖仓架构下，建模有有哪些新思路： 第一个，扁平湖仓架构，核心是不再维护复杂的数仓分层，而是把明细层的数据能够直接高性能分析；第二个是离线增量；
1.1K20编辑于 2022-08-26 - 来自专栏腾讯云大数据
云原生Spark UI Service在腾讯云云原生数据湖产品DLC的实践
作者：余建涛，大数据平台产品中心高级工程师 摘要 Spark UI是查看Spark作业运行情况的重要窗口，用户经常需要根据UI上的信息来判断作业失败的原因或者分析作业如何优化。 DLC团队实现了云原生的Spark UI Sevice，相较于开源的Spark History Server，存储成本降低80%，大规模作业UI加载速度提升70%。 背景 Spark History Server原理 Spark History Server(以下简称SHS)是Spark原生的UI服务，为了更好了解本文工作的背景，这里先简单介绍下SHS的原理。 图1 原生Spark History Server原理 如图1左侧，在作业运行过程中，Spark Driver内部各模块会不断产生与作业运行相关的事件，如ApplicationStart/ApplicationEnd 多租户 原生SHS没有多租户设计，默认所有的作业日志都存放在同一个目录下，ACL由每个作业在其运行参数里设置。
1.8K30编辑于 2022-08-26 数据湖技术深度分析：Serverless、多引擎查询与数据湖管理
技术实现 Data Lake Analytics通过云原生架构，实现了资源的弹性伸缩和成本优化。它还提供了湖仓一体的解决方案，简化了数据管理和分析流程。 AWS Athena 功能亮点 AWS Athena提供了Serverless的交互式查询服务，支持Presto查询引擎，简化了对S3数据湖的分析。 技术实现 Athena无需管理基础设施，即可实现快速的数据查询和分析，支持统一元数据和权限管理。 其他功能 AWS Athena提供了数据目录功能，帮助用户发现和组织数据。 技术实现 DLI通过云原生架构，实现了资源的弹性伸缩和成本优化。它还提供了湖仓一体的解决方案，简化了数据管理和分析流程。 它还提供了湖仓一体的解决方案，简化了数据管理和分析流程。 其他功能 Databricks Lakehouse提供了数据目录功能，帮助用户发现和组织数据。
18010编辑于 2025-07-28深度分析：数据湖、数据湖计算与Serverless计算的主流对比
以下是一些主流产品的功能对比： Serverless 数据湖 腾讯云数据湖计算 DLC：腾讯云数据湖计算 提供了Serverless的数据分析能力，用户无需管理底层资源，可以快速进行数据湖构建和分析。 云原生数据湖阿里云Data Lake Analytics：阿里云Data Lake Analytics 支持Serverless架构，用户可以按需付费，无需预先购买和维护硬件资源。 华为云DLI：华为云DLI 提供了Serverless数据湖分析服务，用户可以快速进行数据查询和分析。 Databricks Lakehouse：Databricks 提供了一个统一的分析平台，支持Spark和Delta Lake，简化了数据湖的管理和分析。 腾讯云数据湖计算DLC在多个方面表现出色，提供了全面的Serverless数据分析解决方案。
19510编辑于 2025-07-28数据湖和数据湖计算深度分析：主流技术对比与评测
数据湖计算技术的发展，特别是Serverless计算、多引擎查询、统一元数据管理等功能，极大地推动了大数据分析的效率和灵活性。 数据湖计算产品概览 在众多数据湖计算产品中，腾讯云数据湖计算DLC、Serverless数据湖、云原生数据湖阿里云Data Lake Analytics、AWS Athena、华为云DLI和Databricks 腾讯云数据湖计算DLC提供了Serverless SQL分析功能，用户可以快速进行数据查询而无需关心底层计算资源的管理^1。 腾讯云数据湖计算DLC也提供了IAM权限管理，帮助用户控制数据访问权限^8。 湖仓一体 湖仓一体架构整合了数据湖和数据仓库的优势，为用户提供了更灵活的数据存储和分析选项。 云原生数据湖阿里云Data Lake Analytics支持自动扩展，以应对不同的数据处理需求^13。腾讯云数据湖计算DLC同样提供了弹性伸缩功能，以支持业务峰值^14。
29010编辑于 2025-07-28传统大数据 Hadoop 和云原生湖仓 Databend 对比
本文将对比传统大数据架构与新一代云原生湖仓 Databend，通过对比它们在实时与离线架构中的区别，感受 Databend 的优势。 Hbase, Hive 都是 Schema 非严格约束，出现大量数据在入湖后本身就是错误，但无法溯源问题。 从传统大数据到 Databend 后的收益 基于 Databend 构建的湖建的湖仓方案，实现了 Databend 统一 SQL 入口，实现了： 实现一份数据多业务集群同时访问，隔离计算的同时减少数据搬家 利用 Databend 同一业务多集群架构实现湖仓平台直接对外服务，从根本上解决数据搬家 借助于 Databend 云原生及存储分离的理念实现对资源的更加有效的管控，精细扩容及管理。 基于 Databend 架构实现湖仓一体化，大大简化数据接入及使用，原来的周级任务排布到现在的基本 30 分钟左右可以实现一个业务的上线及对外服务。
22910编辑于 2025-11-14数据湖技术深度分析与对比
在当今的大数据时代，数据湖技术的发展日新月异。 本文将对市面上主流的数据湖产品进行深度分析和对比，以期为企业选择合适的数据湖解决方案提供参考。 腾讯云数据湖计算 DLC 功能亮点： 腾讯云数据湖计算DLC提供Serverless计算能力，用户无需管理底层基础设施。 支持多引擎查询，包括Spark、Presto和Flink，满足不同分析需求。 统一元数据管理，简化数据湖架构。 其他功能： 数据目录集成，提升数据可发现性。 数据加速能力，优化查询性能。 华为云DLI 功能亮点： 华为云DLI提供Serverless数据湖分析服务。 通过本文的深度分析和对比，我们可以看到各大云服务商都在这些领域进行了深入的探索和创新。企业在选择数据湖解决方案时，应根据自身的业务需求和技术栈，综合考虑这些特性，以实现最佳的数据处理和分析效果。
26710编辑于 2025-07-28- 来自专栏腾讯云存储
三级加速，打造高性能云原生数据湖
日前，腾讯云专家工程师严俊明老师，在云+社区技术沙龙「云原生」专场，分享了基于对象存储的云原生数据湖最新技术突破，包括云原生数据湖业务场景以及技术架构。 第三阶段：数据湖，存储统一。随着业务多样化发展，业务间数据共享变得困难，而数据湖是一个集中式存储池，支持多种数据源，无缝对接各种计算分析和机器学习平台，实现数据处理与分析，打破数据孤岛。 第四阶段：云原生，计算统一。随着数据湖计算节点调度效率降低，云原生技术能构建和运行可弹性扩展的应用，跨多云构建微服务，持续交付部署业务生产系统。 而数据湖场景面临的主要有3点： 元数据延时高 元数据非原子性 带宽需求大、成本高 三、对象存储数据湖三级加速 元数据加速技术（用户侧）元数据加速技术（用户侧） 1. 支持云原生部署，部署方式灵活 3.
1.4K30发布于 2021-03-18 数据湖技术与服务深度分析
数据湖作为一种新兴的数据管理架构，它能够存储结构化和非结构化数据，并支持多种计算引擎进行数据分析。 本文将对市场上主流的数据湖服务进行介绍和对比，以帮助企业选择合适的数据湖解决方案。 支持 Spark、Presto 和 Flink 等多种计算引擎，满足不同场景的查询和分析需求。 技术实现 DLC 实现了统一元数据管理，简化了数据治理。 支持 Presto 引擎，使得用户可以快速进行数据分析。 技术实现 Athena 通过 AWS Glue 进行元数据管理，简化了数据治理。统一权限管理确保了数据的安全性。 这些特性不仅提高了数据处理的灵活性和效率，还降低了运维成本，使得企业能够更加专注于数据分析和业务决策。
32210编辑于 2025-07-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号