- 综合排序
- 最热优先
- 最新优先
数据湖如何成为企业数据敏捷度的加速器？
本文深入探讨数据湖架构如何通过存算分离、多源数据整合、Serverless计算等特性，从数据获取、数据处理到数据分析全流程提升企业响应速度，并重点介绍腾讯云数据湖计算DLC的产品优势及市场认可。 导语 随着企业数据量爆发式增长，传统数据架构的局限性日益凸显。据国际研究机构Gartner统计，到2025年，超过70%的企业将把数据湖作为数据管理的基础架构。数据湖究竟如何帮助企业提升数据敏捷度？ 腾讯云数据湖计算DLC作为国内唯一入选Gartner数据湖仓平台市场指南的产品，又提供了哪些解决方案？ 报告指出，湖仓一体正成为企业建设数据平台的新标准，而腾讯云在开放性、性能和Data+AI一体化能力上形成了显著差异化优势。 结语 数据湖不是简单存储技术，而是提升企业数据敏捷度的战略架构。 腾讯云数据湖计算DLC通过云原生、Serverless和标准化的技术路径，帮助企业构建面向未来的数据能力。在数据驱动决策的时代，投资数据湖就是投资企业的响应速度和竞争力。
18310编辑于 2025-11-06- 来自专栏腾讯云存储
数据湖加速器GooseFS，加速湖上数据分析性能
数据湖加速器 GooseFS 是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。 依靠对象存储（Cloud Object Storage，COS）作为数据湖存储底座的成本优势，为数据湖生态中的计算应用提供统一的数据湖入口，加速海量数据分析、机器学习、人工智能等业务访问存储的性能。 零、产品背景 近些年来以对象存储作为统一数据湖存储的趋势越来越明显。 成本问题：对于离线大数据业务而言，往往需要尽可能快速地拉取大量重复的数据到计算集群中进行分析，在数据湖的存算分离架构下，会对存储带宽有很大的压力。 三、结语 GooseFS 旨在提供一站式的数据湖缓存加速解决方案，方便用户在不同的存储系统管理和流转数据，提升您的数据利用效率。
1.2K30发布于 2021-07-16 - 来自专栏用户5909132的专栏
直播报名中 | 湖存储第七期数据湖加速器 GooseFS 数据安全篇
“ 雁栖学堂-湖存储专题直播是腾讯云主办的国内首个湖存储百科知识直播节目，是一个围绕湖存储技术领域，基于存储加速服务，覆盖了前沿趋势，时事热点，客户案例，大咖分享，开发者成长路径等内容的直播交流平台 ” 雁栖学堂-湖存储专题直播第七期将邀请到腾讯云存储高级产品经理“林楠”，介绍数据湖加速器 GooseFS 数据成本篇 。 分享内容 本次分享内容主要探讨如何通过数据湖加速器 GooseFS，对象存储 COS 等服务搭建冷热分层的数据湖存储服务。 数据湖加速器 GooseFS 可以为用户提供高性能的缓存存储服务，提供了HDFS 生态亲和性，支持将海量分布式存储服务如对象存储 COS，云 HDFS 等作为远端存储。 分享大纲 1、基于 GooseFS 和 COS 构建冷热分层的数据湖 2、 COS 上的数据生命周期管理能力 直播时间：11月25日（周四） 19：00 报名方式：只需扫码输入手机号即可报名，报名成功将有机会领取精美礼品一份
62430发布于 2021-11-24 - 来自专栏腾讯云存储
拥抱云原生，数据湖加速器 GooseFS 助力 Fluid 数据缓存实现
01 前言 数据湖加速器 GooseFS 是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。 依靠对象存储（Cloud Object Storage，COS）作为数据湖存储底座的成本优势，为数据湖生态中的计算应用提供统一的数据湖入口，加速海量数据分析、机器学习、人工智能等业务访问存储的性能。 越来越多的大数据业务架构中采用了容器服务，减少了集群的资源冗余情况，有效降低了大数据业务成本。 现有云原生编排框架运行此类应用时，存在数据访问延时高、多数据源联合分析难、应用使用数据过程复杂等痛点。Fluid正是为解决这些问题而生的。 03 结语 数据湖加速器 GooseFS加速业务访问存储的性能。腾讯云容器服务为容器化的应用提供一系列完整功能，解决用户开发、测试及运维过程的环境一致性问题，提高了大规模容器集群管理的便捷性。
73930发布于 2021-08-18 - 来自专栏用户5909132的专栏
直播报名中 | 湖存储第八期数据湖加速器 GooseFS 数据迁移篇
“ 雁栖学堂-湖存储专题直播是腾讯云主办的国内首个湖存储百科知识直播节目，是一个围绕湖存储技术领域，基于存储加速服务，覆盖了前沿趋势，时事热点，客户案例，大咖分享，开发者成长路径等内容的直播交流平台 ” 雁栖学堂-湖存储专题直播第八期将邀请到腾讯云存储高级产品经理“林楠”，介绍数据湖加速器 GooseFS 数据迁移篇 。 分享内容 本次分享内容主要探讨如何将本地大数据集群上的数据搬迁到公有云对象存储服务中。腾讯云提供了多种迁移服务方式，用户可以根据业务需求，按需选择适合自己业务的迁移方案。 本次分享内容将概述数据迁移的全流程，详细介绍使用迁移服务平台、离线迁移和cosdistcp等不同迁移方案迁移海量大数据。 分享大纲 1、全托管数据迁移服务，使用 MSP 产品迁移海量数据； 2、使用 COS Distcp 工具保障迁移过程中的数据安全； 3、离线数据迁移服务 CDM，低成本上云之路 直播时间：12月9日
42620编辑于 2021-12-08 - 来自专栏超级架构师
【数据湖】塑造湖：数据湖框架
大数据和数据湖的风险和挑战 大数据带来的挑战如下： 容量——庞大的数据量是否变得难以管理？ 多样性——结构化表格？半结构化 JSON？完全非结构化的文本转储？ 准确性——当数据量不同、来源和结构不同以及它们到达湖的速度不同时，我们如何保持准确性和准确性？ 同时管理所有四个是挑战的开始。 很容易将数据湖视为任何事物的倾倒场。 这些数据可能都是完全相关和准确的，但如果用户找不到他们需要的东西，那么湖本身就没有价值。从本质上讲，数据淹没是指数据量如此之大，以至于您无法找到其中的内容。 框架 我们把湖分成不同的部分。关键是湖中包含各种不同的数据——一些已经过清理并可供业务用户使用，一些是无法辨认的原始数据，需要在使用之前进行仔细分析。 文件夹结构本身可以任意详细，我们自己遵循一个特定的结构： 原始数据区域是进入湖的任何文件的着陆点，每个数据源都有子文件夹。
1.3K20编辑于 2022-03-08 - 来自专栏用户5909132的专栏
拥抱云原生，数据湖加速器 GooseFS 助力 Fluid 数据缓存实现
01 前言 数据湖加速器 GooseFS 是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。 依靠对象存储（Cloud Object Storage，COS）作为数据湖存储底座的成本优势，为数据湖生态中的计算应用提供统一的数据湖入口，加速海量数据分析、机器学习、人工智能等业务访问存储的性能。 越来越多的大数据业务架构中采用了容器服务，减少了集群的资源冗余情况，有效降低了大数据业务成本。 现有云原生编排框架运行此类应用时，存在数据访问延时高、多数据源联合分析难、应用使用数据过程复杂等痛点。Fluid正是为解决这些问题而生的。 03 结语 数据湖加速器 GooseFS加速业务访问存储的性能。腾讯云容器服务为容器化的应用提供一系列完整功能，解决用户开发、测试及运维过程的环境一致性问题，提高了大规模容器集群管理的便捷性。
47930发布于 2021-08-25 - 来自专栏用户5909132的专栏
直播报名中 | 湖存储第六期数据湖加速器 GooseFS 数据安全篇
“ 雁栖学堂-湖存储专题直播是腾讯云主办的国内首个湖存储百科知识直播节目，是一个围绕湖存储技术领域，基于存储加速服务，覆盖了前沿趋势，时事热点，客户案例，大咖分享，开发者成长路径等内容的直播交流平台 ” 雁栖学堂-湖存储专题直播第六期将邀请到腾讯云存储高级产品经理“林楠”，介绍数据湖加速器 GooseFS 数据安全篇 。 分享内容 本次分享内容主要讨论构建数据湖过程中需要注意的数据安全事项，比如通过 Apache Ranger 控制 GooseFS 的资源访问权限，通过 COS 用户策略、存储桶策略等管控存储在对象存储上的数据安全等 通过本次分享，听众可以初步了解如何构建一个安全的数据湖。 分享大纲 数据湖加速器 GooseFS 数据安全篇： 1、GooseFS Ranger 的权限体系方案 2、对象存储 COS 的安全能力介绍 直播时间：11月11日（周四） 19：00 报名方式：只需扫码输入手机号即可报名
49110发布于 2021-11-10 - 来自专栏Lansonli技术博客
数据湖（一）：数据湖概念
数据湖概念一、什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析对数据进行加工，例如：大数据处理 数据湖技术可以很好的实现存储层面上的“批流一体”，这就是为什么大数据中需要数据湖的原因。 三、数据湖与数据仓库的区别数据仓库与数据湖主要的区别在于如下两点：存储数据类型数据仓库是存储数据，进行建模，存储的是结构化数据；数据湖以其本源格式保存大量原始数据，包括结构化的、半结构化的和非结构化的数据 而对于数据湖，您只需加载原始数据，然后，当您准备使用数据时，就给它一个定义，这叫做读时模式（Schema-On-Read）。这是两种截然不同的数据处理方法。 因为数据湖是在数据使用时再定义模型结构，因此提高了数据模型定义的灵活性，可满足更多不同上层业务的高效率分析诉求。图片图片
2.6K94编辑于 2022-06-05 - 来自专栏大数据进阶
数据湖
架构比略差 下面我们看下网上对于主流数据湖技术的对比 ? 从上图中我们可以看到hudi和iceberg的功能较齐全，下面我们将从如下几方面来 1.元数据打通 2.flink读写数据湖 3.增量更新 4.对事务的支持 5.对于写入hdfs小文件合并的支持 6.湖中的数据和仓中的数据的联通测试 7.高效的回缩能力 8.支持Schema变更 9.支持批流读写 9.支持批流读写 说完了技术体现，下面我们在简单说一下数据湖和数仓的理论定义 数据湖 其实数据湖就是一个集中存储数据库，用于存储所有结构化和非结构化数据 数据湖可用其原生格式存储任何类型的数据，这是没有大小限制。数据湖的开发主要是为了处理大数据量，擅长处理非结构化数据。 我们通常会将所有数据移动到数据湖中不进行转换。 数据湖中的每个数据元素都会分配一个唯一的标识符，并对其进行标记，以后可通过查询找到该元素。这样做技术能够方便我们更好的储存数据。 数据仓库 数据仓库是位于多个数据库上的大容量存储库。
1.2K30发布于 2021-07-01 - 来自专栏【腾讯云开发者】
COS数据湖加速器GooseFS存算分离实践及性能优化
（二）Worker数据缓存管理 Worker负责实际的数据存储、读写、淘汰、加载和数据跃迁。 为了满足这些特殊场景的需要，需要有额外的服务来维护这些数据调度任务。数据调度服务主要负责数据预热及数据持久化等任务的调度，用来满足极端性能场景。 Master的内存主要由文件元数据、Block数据和Worker维度的block数据组成。 元数据规模膨胀 随着数据量的增多，元数据急剧膨，Master有限的内存已经不足以存储所有元数据。GooseFS元数据支持内存及内存+Rocksdb两种存储模式，后者可以支撑更大量级的元数据。 目前主要从事腾讯COS数据湖加速器GooseFS的开发工作，从事文件系统及分布式存储开发多年，有丰富的存储经验。 推荐阅读 C++反射：全面解读property的实现机制！
1.1K30编辑于 2022-03-03 - 来自专栏超级架构师
【数据湖仓】数据湖和仓库：范式简介
博客系列 数据湖和仓库第 1 部分：范式简介 数据湖和仓库第 2 部分：Databricks 和雪花 数据湖和仓库第 3 部分：Azure Synapse 观点 两种范式：数据湖与数据仓库 基于一些主要组件的选择 ，云分析解决方案可以分为两类：数据湖和数据仓库。 数据湖：去中心化带来的自由 数据湖范式的核心原则是责任分散。借助大量工具，任何人都可以在访问管理的范围内使用任何数据层中的数据：青铜、白银和黄金。 集中式数据湖元数据管理工具越来越多，但使用它们取决于开发过程。技术很少强制这样做。 结论：数据湖和数据仓库 在这篇文章中，我们讨论了数据仓库和基于数据湖的解决方案的基本方法或范式的差异。 原则上，您可以纯粹在数据湖或基于数据仓库的解决方案上构建云数据分析平台。 我见过大量基于数据湖工具的功能齐全的平台。在这些情况下，可以使用特定于用例的数据库数据集市来提供信息，而根本不需要数据仓库。
1.2K10编辑于 2022-03-08 - 来自专栏QQ大数据团队的专栏
从数据湖到元数据湖——TBDS新一代元数据湖管理
所以在Data+AI 时代，面对AI非结构化数据和大数据的融合，以及更复杂跨源数据治理能力的诉求，TBDS开发了第三阶段的全新一代统一元数据湖系统。 02、新一代元数据湖管理方案 TBDS全新元数据湖系统按照分层主要有统一接入服务层、统一Lakehouse治理层、统一元数据权限层、统一Catalog模型连接层。 统一接入服务对外提供开放标准的API接口给用户或引擎对元数据湖的各种操作，提供JDBC、REST API和Thrift协议三种方式访问元数据。 特别在大数据结构化数据更好实现了湖仓元数据的统一和联动。 03、统一元数据权限 在Hadoop体系的优化 我们通过统一元数据系统的统一权限插件完成了不同数据源权限的管理。 并且在数据湖、AI场景实现元数据统一管理和自动化数据治理，在保证数据智能高效访问的同时还提供基于Ranger深度开发优化的统一权限安全能力，让数据更可感、可控、易用。
1.8K10编辑于 2024-09-26 - 来自专栏宜信技术实践
漫谈“数据湖”
而这一切的数据基础，正是数据湖所能提供的。 二、数据湖特点 数据湖本身，具备以下几个特点： 1）原始数据 海量原始数据集中存储，无需加工。 3）延迟绑定 数据湖提供灵活的，面向任务的数据编订，不需要提前定义数据模型。 三、数据湖优缺点 任何事物都有两面性，数据湖有优点也同样存在些缺点。 优点包括： 数据湖中的数据最接近原生的。 这也主要是因为数据过于原始带来的问题。 四、数据湖与关联概念 4.1 数据湖 vs 数据仓库 数据湖建设思路从本质上颠覆了传统数据仓库建设方法论。 平台化的数据湖架构能否驱动企业业务发展，数据治理至关重要。这也是对数据湖建设的最大挑战之一。 4.6 数据湖 vs 数据安全 数据湖中存放有大量原始及加工过的数据，这些数据在不受监管的情况下被访问是非常危险的。这里是需要考虑必要的数据安全及隐私保护问题，这些是需要数据湖提供的能力。
2.2K30发布于 2019-07-04 - 来自专栏杨丝儿的小站
【数据湖】扫盲
什么是数据湖 数据湖是一种以原生格式存储各种大型原始数据集的数据库。您可以通过数据湖宏观了解自己的数据。 原始数据是指尙未针对特定目的处理过的数据。数据湖中的数据只有在查询后才会进行定义。 为什么出现了数据湖的概念 数据湖可为您保留所有数据，在您存储前，任何数据都不会被删除或过滤。有些数据可能很快就会用于分析，有些则可能永远都派不上用场。 数据从多种来源流入湖中，然后以原始格式存储。 数据湖和数据仓库的差别是什么？ 数据仓库可提供可报告的结构化数据模型。这是数据湖与数据仓库的最大区别。 数据湖架构 数据湖采用扁平化架构，因为这些数据既可能是非结构化，也可能是半结构化或结构化，而且是从组织内的各种来源所收集，而数据仓库则是把数据存储在文件或文件夹中。数据湖可托管于本地或云端。 他们还可以利用大数据分析和机器学习分析数据湖中的数据。 虽然数据在存入数据湖之前没有固定的模式，但利用数据监管，你仍然可以有效避免出现数据沼泽。
1.1K30编辑于 2022-03-20 - 来自专栏ITBA有话说
数据湖浅谈
什么是数据湖？ 数据入湖 数据入湖有一定的标准，包括明确数据owner，发布数据标准，认证数据源、定义数据密级、评估数据质量和注册元数据。 数据入湖的方式 有物理入湖和虚拟入湖，物理入湖是指将数据复制到数据湖中，包括离线数据集成和实时数据集成两种方式。如果你对报表实时性要求很高，比如支撑实时监控类报表，那就需要入实时区。 虚拟入湖指原始数据不在数据湖中进行物理存储，而是通过建立对应虚拟表的集成方式实现入湖，实时性强，一般面向小数据量应用。 DM-Data Mart 数据集市， DM层数据来源于DWR层，面向展现工具和业务查询需求。DM根据展现需求分领域，主题汇总。 数据出湖 数据入了湖，自然要出湖，出湖即数据消费。
4.6K11发布于 2021-03-12 - 来自专栏韩锋频道
漫谈“数据湖”
数据湖 数据湖这一概念，最早在2011年首次提出由CITO Research网站的CTO和作家Dan Woods提出的。 而这一切的数据基础，正是数据湖所能提供的。 1 数据湖特点 数据湖本身，具备以下几个特点： 原始数据 海量原始数据集中存储，无需加工。 延迟绑定 数据湖提供灵活的，面向任务的数据编订，不需要提前定义数据模型。 2 数据湖优缺点 任何事物都有两面性，数据湖有优点也同样存在些缺点。 优点：数据湖中的数据最接近原生的。 这也主要是因为数据过于原始带来的问题。 3 数据湖与关联概念 数据湖 vs 数据仓库 数据湖建设思路从本质上颠覆了传统数据仓库建设方法论。传统的企业数据仓库则强调的是整合、面向主题、分层次等思路。 数据湖 vs 数据安全 数据湖中存放有大量原始及加工过的数据，这些数据在不受监管的情况下被访问是非常危险的。这里是需要考虑必要的数据安全及隐私保护问题，这些是需要数据湖提供的能力。
1.3K30发布于 2019-07-04 - 来自专栏用户5909132的专栏
直播报名中 | 湖存储第九期数据湖加速器 GooseFS 在自动驾驶场景下的应用
“ 雁栖学堂-湖存储专题直播是腾讯云主办的国内首个湖存储百科知识直播节目，是一个围绕湖存储技术领域，基于存储加速服务，覆盖了前沿趋势，时事热点，客户案例，大咖分享，开发者成长路径等内容的直播交流平台 ” 雁栖学堂-湖存储专题直播第九期将邀请到腾讯云存储高级架构师“王登宇”，介绍数据湖加速器 GooseFS 在自动驾驶场景下的应用 。 自动驾驶技术的核心是模型训练，训练数据规模有数 十PB 到 百PB 之多。 腾讯云数据湖存储针对自动驾驶场景，提供高可靠、高可用、低成本的海量数据存储解决方案，通过数据湖加速 GooseFS，助力客户打造高性能、低成本的自动驾驶训练平台。 分享大纲 1、自动驾驶的云原生趋势； 2、腾讯云数据湖存储自动驾驶解决方案介绍； 3、COS数据湖GooseFS、TStor在自动驾驶场景中的应用； 4、自动驾驶数据湖案例分享； 直播时间：12月23
48630编辑于 2021-12-22 - 来自专栏超级架构师
【数据湖仓】数据湖和仓库：Databricks 和 Snowflake
是时候将数据分析迁移到云端了。我们比较了 Databricks 和 Snowflake，以评估基于数据湖和基于数据仓库的解决方案之间的差异。 在这篇文章中，我们将介绍基于数据仓库和基于数据湖的云大数据解决方案之间的区别。我们通过比较多种云环境中可用的两种流行技术来做到这一点：Databricks 和 Snowflake。 数据库类型功能是专门使用 Delta 文件格式开发的。 Delta 文件格式是一种将数据库优势带入数据湖世界的方法。除其他外，该格式提供数据模式版本控制和数据库类型 ACID 事务。 根据数据湖范式，文件格式本身是开放的，任何人都可以免费使用。 这是 Snowflake 向数据湖范式方向扩展其解决方案的方式之一。如今，它提供了用于实时数据摄取的高效工具等。
3.3K10编辑于 2022-03-08 - 来自专栏超级架构师
【数据湖仓】数据湖和仓库：Azure Synapse 视角
是时候将数据分析迁移到云端了。我们将讨论 Azure Synapse 在数据湖和数据仓库范式规模上的定位。 具体来说，我们关注如何在其中看到数据仓库和数据湖范式的区别。 为了熟悉这个主题，我建议你先阅读本系列的前几篇文章。 数据湖和仓库第 1 部分：范式简介 数据湖和仓库第 2 部分：Databricks 和Showflake 数据湖和仓库第 3 部分：Azure Synapse 观点 我们现在考虑一个更新颖的解决方案，该解决方案与该主题的角度略有不同 这样一来，我们就有了多个云数据产品，一个品牌和一个界面，涵盖了云大数据分析平台的所有阶段。此外，Synapse 环境为数据仓库构建和数据湖开发提供了工具。 除 Synapse 专用 SQL 池数据仓库外，所有处理组件均按数据湖范例的典型使用量付费。所有工具甚至都有自动关机功能。
1.6K20编辑于 2022-03-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号