- 综合排序
- 最热优先
- 最新优先
- 来自专栏Lansonli技术博客
数据湖（八）：Iceberg数据存储格式
Iceberg数据存储格式一、Iceberg术语data files（数据文件）:数据文件是Apache Iceberg表真实存储数据的文件，一般是在表的数据存储目录的data目录下，如果我们的文件格式选择的是 这个元数据文件中存储的是Manifest file列表，每个Manifest file占据一行。 每行中存储了Manifest file的路径、其存储的数据文件（data files）的分区范围，增加了几个数文件、删除了几个数据文件等信息，这些信息可以用来在查询时提供过滤，加快速度。 二、表格式Table FormatApache Iceberg作为一款数据湖解决方案,是一种用于大型分析数据集的开放表格式(Table Format),表格式可以理解为元数据及数据文件的一种组织方式 Iceberg底层数据存储可以对接HDFS，S3文件系统，并支持多种文件格式，处于计算框架（Spark、Flink）之下，数据文件之上。
2.2K92编辑于 2022-06-19 - 来自专栏ApacheHudi
火山引擎数据湖存储内核揭秘
火山引擎LAS 全称（Lakehouse Analysis Service）湖仓一体分析服务，融合了湖与仓的优势，既能够利用湖的优势将所有数据存储到廉价存储中，供机器学习、数据分析等场景使用，又能基于数据湖构建数仓供 本文将从统一的元数据服务和表操作管理服务两大方面，揭秘如何基于Hudi如何构建数据湖存储内核。 LAS介绍 火山引擎LAS 全称（Lakehouse Analysis Service）湖仓一体分析服务，融合了湖与仓的优势，既能够利用湖的优势将所有数据存储到廉价存储中，供机器学习、数据分析等场景使用 基于 LAS 构建企业级实时湖仓，无论离线数据还是实时数据，都可以放到 LAS 流批一体存储中。 MetaServer整体分为两大块——存储层和服务层。存储层用于存储数据湖的所有元数据，服务层用于接受所有元数据的相关增删改查请求。整个服务层是无状态的，因此支持水平扩展。
83310编辑于 2023-12-13 数据湖如何重塑云存储架构
数据湖如何在大规模下重塑某机构的S3服务数据湖帮助将对象存储转变为现代数据基础设施中最重要的层之一。 随着某机构S3服务20周年纪念日（3月14日，又称π日）的临近，分析师们将回顾一项简单的存储服务是如何发展成为分析平台、企业工作流和AI管道的支柱的。相关讨论聚焦于S3在赋能数据湖方面的作用。 “20年后的今天，S3存储了超过500万亿个对象，每年处理超过千万亿次请求，支撑着超过一百万个数据湖，并为基础AI工作负载提供动力，”一位分析师表示。 “在活动期间，我们将探讨一项始于云存储的服务如何成为互联网时代，乃至如今AI时代的基础设施。”数据湖如何重塑云存储的角色数据湖的兴起改变了组织对存储架构的思考方式。 媒体处理管道、科学研究和大型分析越来越多地将S3视为应用程序架构的核心组件，而不仅仅是存储端点。“如果看看有多少数据湖构建在S3之上，目前有超过一百万个，”一位分析师解释说。
17810编辑于 2026-04-06- 来自专栏kk大数据
计算引擎之下，存储之上 - 数据湖初探
一、数据湖的角色和定位 随着移动互联网，物联网技术的发展，数据的应用逐渐从 BI 报表可视化往机器学习、预测分析等方向发展，即 BI 到 AI 的转变。 下表展示了数据仓库和数据湖在各个维度上的特性： ? 相比于数据仓库，数据湖会保留最原始的数据，并且是读取时确定 Schema，这样可以在业务发生变化时能灵活调整。 最原始的数据湖技术其实就是对象存储，比如 Amazon S3，Aliyun OSS，可以存储任意形式的原始数据，但是如果不对这些存储的原始文件加以管理，就会使数据湖退化成数据沼泽（dataswamp)。 ，包括流处理和批处理：SPARK，FLINK 简单的说，数据湖技术是计算引擎和底层存储格式之间的一种数据组织格式，用来定义数据、元数据的组织方式。 如上图的中间部分，Hudi 以两种不同的存储格式存储所有摄取的数据。 读优化的列存格式（ROFormat）：仅使用列式文件（parquet）存储数据。
2K40发布于 2020-12-29 - 来自专栏超级架构师
【数据湖】塑造湖：数据湖框架
大数据和数据湖的风险和挑战 大数据带来的挑战如下： 容量——庞大的数据量是否变得难以管理？ 多样性——结构化表格？半结构化 JSON？完全非结构化的文本转储？ 准确性——当数据量不同、来源和结构不同以及它们到达湖的速度不同时，我们如何保持准确性和准确性？ 同时管理所有四个是挑战的开始。 很容易将数据湖视为任何事物的倾倒场。 微软的销售宣传正是如此——“存储便宜，存储一切！！”。我们倾向于同意——但如果数据完全不正确、不准确、过时或完全无法理解，那么它根本没有用，并且会让任何试图理解数据的人感到困惑。 框架 我们把湖分成不同的部分。关键是湖中包含各种不同的数据——一些已经过清理并可供业务用户使用，一些是无法辨认的原始数据，需要在使用之前进行仔细分析。 文件夹结构本身可以任意详细，我们自己遵循一个特定的结构： 原始数据区域是进入湖的任何文件的着陆点，每个数据源都有子文件夹。
1.4K20编辑于 2022-03-08 - 来自专栏用户5909132的专栏
COS数据湖存储引领大数据存储和自动驾驶存储发展趋势
11月26日在QCon大会上，腾讯云数据湖存储研发负责人严俊明和技术专家程力受邀分享了数据湖存储的关键技术，并分享了数据湖存储在大数据及自动驾驶场景下的落地实践，助力用户业务降本增效。 下面，让我们一起回顾下两位老师的精彩演讲内容 数据湖是一种可拓展的技术架构，将数据存储、计算、分析、AI等能力集成整合为一款多元化的解决方案，从数据中挖掘价值；支持多种数据源，无缝对接各种计算分析和机器学习平台 ，打破数据孤岛；利用公有云对象存储做数据湖存储底座，让数据具备高弹性扩展、高持久性、高可用性，并降低了存储成本。 数据湖存储的底座- 可靠性12个9的ZB级海量对象存储COS 对象存储(Cloud Object Storage) COS 是腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP/ 数据湖加速器GooseFS赋能混合云，助力自动驾驶训练 近几年间，自动驾驶行业飞速发展，越来越多的车企选择数据上云。
1.5K40编辑于 2022-12-15 - 来自专栏腾讯云存储
数据湖存储在大模型中的应用
本次巡展以“智算 开新局·创新机”为主题，腾讯云存储受邀分享数据湖存储在大模型中的应用，并在展区对腾讯云存储解决方案进行了全面的展示，引来众多参会者围观。 数据湖存储可以帮助企业一站式解决数据采集、清洗、训练和消费等环节的存储需求，有效降低存储成本，提升数据使用效率，为大模型的训练和应用提供更好的支持。 腾讯云存储团队针对大模型推出了综合性的数据湖存储解决方案，主要由对象存储、数据湖加速器GooseFS和数据万象CI等多款产品组成。 对象存储服务作为统一的数据存储池，提供了快速、便捷的公网接入、数据传输和海量存储能力。 基于腾讯云自研的分布式对象存储引擎Yotta，它可支持单集群1万台服务器，单集群百EB级的存储；对象存储也提供了丰富的数据生命周期管理能力，可以很低成本地存储海量的公开数据集。
4.2K20编辑于 2023-11-01 - 来自专栏大数据-BigData
OPPO数据湖统一存储技术实践
目前业界的流行解决方案是数据湖，本文介绍的OPPO自研的数据湖存储CBFS在很大程度上可解决目前的痛点。 数据湖简述 数据湖定义：一种集中化的存储仓库，它将数据按其原始的数据格式存储，通常是二进制blob或者文件。 一个数据湖通常是一个单一的数据集，包括原始数据以及转化后的数据（报表，可视化，高级分析和机器学习等） 数据湖存储的价值 image.png 对比传统的Hadoop架构，数据湖有以下几个优点： 高度灵活： ，合规和审计，数据“存管用”全程可追溯 OPPO数据湖整体解决方案 image4d4dc21751f974ff.png OPPO主要从三个维度建设数据湖：最底层的湖存储，我们采用的是CBFS，它是一种同时支持 ；底层采用大规模低成本的对象存储作为统一的数据底座，支持多引擎数据共享，提升数据复用能力 数据湖存储CBFS架构 image8558df4e75f0beee.png 我们的目标是建设可支持EB级数据的数据湖存储
93140编辑于 2022-04-23 - 来自专栏五分钟学大数据
计算引擎之下、数据存储之上 | 数据湖Iceberg快速入门
目前市面上流行的三大开源数据湖方案分别为：Delta、Iceberg 和 Hudi，但是 Iceberg是一个野心勃勃的项目，因为它具有高度抽象和非常优雅的设计，为成为一个通用的数据湖方案奠定了良好基础 参考文章中用了大量篇幅介绍了Parquet用什么算法支持嵌套的数据模型，并解决其中的相关问题。 2.Parquet定义了数据在文件中的存储方式。 为了方便叙述，将下图拿出来介绍： Parquet文件将数据按照列式存储，但并不是说在整个文件中一个列的数据都集中存储在一起，而是划分了Row Group、Column Chunk以及Page的概念。 多行数据会按照列进行划分，每列的数据集中存储于一个Column Chunk中，因为每个列的数据类型不同，因此不同的Column Chunk会使用不同算法进行压缩\解压缩。 隔离性：一旦提交成功之后其他查询服务才可以查询到数据，否则查询不到。 持久性：事务提交之后，数据会被永久性地持久化到存储系统。
2.6K30发布于 2021-07-06 - 来自专栏Lansonli技术博客
数据湖（一）：数据湖概念
数据湖概念一、什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析对数据进行加工，例如：大数据处理 Kappa架构缺陷如下：Kafka无法支持海量数据存储。对于海量数据量的业务线来说，Kafka一般只能存储非常短时间的数据，比如最近一周，甚至最近一天。 数据湖技术可以很好的实现存储层面上的“批流一体”，这就是为什么大数据中需要数据湖的原因。 三、数据湖与数据仓库的区别数据仓库与数据湖主要的区别在于如下两点：存储数据类型数据仓库是存储数据，进行建模，存储的是结构化数据；数据湖以其本源格式保存大量原始数据，包括结构化的、半结构化的和非结构化的数据 因为数据湖是在数据使用时再定义模型结构，因此提高了数据模型定义的灵活性，可满足更多不同上层业务的高效率分析诉求。图片图片
2.7K94编辑于 2022-06-05 - 来自专栏腾讯云存储
直播报名中｜数据湖存储入门篇
雁栖学堂-湖存储专题直播是腾讯云主办的国内首个湖存储百科知识直播节目，是一个围绕湖存储技术领域，基于存储加速服务，覆盖了前沿趋势，时事热点，用户案例，大咖分享，开发者成长路径等内容的直播交流平台。 雁栖学堂-湖存储专题直播第1期将邀请到腾讯云存储高级工程师“程力”，介绍GooseFS：数据湖存储加速器及快速部署你的GooseFS集群。 主题内容 本次分享属于数据湖存储的入门篇，数据湖加速器GooseFS是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。 依靠对象存储（Cloud Object Storage，COS）作为数据湖存储底座的成本优势，为数据湖生态中的计算应用提供统一的数据湖入口，加速海量数据分析、机器学习、人工智能等业务访问存储的性能。 COS数据湖加速器GooseFS介绍 2. COS数据湖发展方向分享 3. GooseFS文档资源介绍 4.
61170发布于 2021-08-20 - 来自专栏腾讯云存储
腾讯云数据湖存储荣获【技术卓越奖】
评审团通过对技术深度、影响力、可持续性、市场应用等多维度筛选，腾讯云数据湖存储荣获2024年度 IT168 技术卓越奖。 IT168 点评：腾讯云数据湖存储采用了分布式集群架构，具备高性能、低延迟、大吞吐等特性，能够为上层计算应用提供统一的命名空间和访问协议，方便用户在不同的存储系统管理和流转数据。 技术卓越奖：腾讯云数据湖存储 腾讯云数据湖存储技术通过在对象存储 COS 上搭建一个分布式高性能文件系统——数据湖加速器 GooseFS，实现了存储计算分离架构下，对象存储 COS 的加速访问。 相比原生对象存储吞吐量提升8~10倍，同时降低90%的存储带宽消耗，满足了数据湖场景中对海量数据高性能、低延迟、大吞吐的要求。 腾讯云数据湖存储能够加速海量数据分析、机器学习、人工智能等业务访问存储的性能，适用于基因计算、自动加速等业务场景。
45700编辑于 2025-02-10 - 来自专栏ApacheHudi
存储 2000 亿个实体：Notion 的数据湖项目
Notion 的工程团队必须管理这种快速增长，同时满足核心产品和分析用例不断增长的数据需求。这要求他们构建和扩展 Notion 的数据湖。 Notion 数据湖新架构 由于扩展和运营初始数据仓库的挑战，Notion 决定构建一个新的内部数据湖，其目标如下： • 数据存储库应能够大规模存储原始数据和处理数据。 • Notion 的更新密集型数据块数据的数据摄取和计算应该是快速的、可扩展的和具有成本效益的。 • 支持非规范化数据，这些数据可以解锁 AI 和搜索等关键功能。 下图显示了新数据湖的高级设计。 • 处理后的数据将再次存储在 S3 或下游系统中，以满足分析和报告需求。 1 - 选择数据存储库和湖 Notion 使用 S3 作为数据存储库，并使用湖来存储原始数据和处理数据。 解决新数据湖的扩展挑战 由于 Notion 的数据量不断增长，工程团队采取了许多措施来应对可扩展性挑战。 以下是一些需要了解的重要因素。
1.7K10编辑于 2024-12-05 - 来自专栏速入大数据
数据湖——大数据存储的新思维，如何打破传统束缚？
数据湖——大数据存储的新思维，如何打破传统束缚？在数字化时代，我们每天都在创造海量数据，如何存储、管理和利用这些数据成为企业面临的重要挑战。 这时候，数据湖（Data Lake）作为新一代存储架构应运而生，它打破了传统数据存储方式的桎梏，使数据存储更加灵活、高效。那么，数据湖的优势是什么？它如何改变我们的数据管理思维？ 实时性不强：数据仓库更适合批处理，不适用于高频率的流式数据处理。相比之下，数据湖具备以下优势：原始数据存储：数据湖允许存储结构化、半结构化和非结构化数据，无需预先建模。 数据湖的挑战与未来尽管数据湖带来了新的数据存储方式，它仍然面临挑战，例如：数据质量问题：数据湖存储的是原始数据，缺乏严格的数据管理容易导致“数据沼泽”（Data Swamp）。 数据安全和治理：由于数据存储方式较为开放，企业需要建立完善的数据访问权限控制和隐私保护机制。总结数据湖作为大数据时代的一种创新存储方式，能够灵活处理各种数据类型，并支持深度挖掘和机器学习应用。
24110编辑于 2025-04-18 - 来自专栏速入大数据
数据湖，不“唬”你：这是大数据存储的新秩序！
数据湖，不“唬”你：这是大数据存储的新秩序！最近跟几个做传统数仓的朋友喝咖啡聊天，他们纷纷吐槽：“现在业务数据太杂太快，数仓跟不上节奏啊！”我回了一句：“那你们咋不整数据湖啊？” 哎，这就得聊聊今天的主题了：数据湖（Data Lake）——大数据存储的新方式，也是破局之路！ 所以，数据湖应运而生。二、啥是数据湖？不是“忽悠”，是真的“装得下，撑得起”数据湖的核心理念就是四个字：“先存再说”。咱可以这么粗暴地理解：数据仓库像五星级酒店：有门槛、有规矩、有标准。 → 存入Hudi表 → 放到S3或者HDFS等存储”。 五、数据湖vs数据仓库，打个直白的比喻：项目 数据仓库 数据湖 数据类型结构化 任意类型 存储成本高 低 延迟容忍低 高 查询性能高
25410编辑于 2025-07-18 - 来自专栏用户5909132的专栏
“数据湖存储”冠军杯足球赛开幕，腾讯云存储出征！
“数据湖存储”冠军杯是数据湖领域内的世界级赛事，随着云上“数据湖存储”产品理念的逐步普及，今年的比赛也获得了国内外众多球迷的关注。 值得一提的是，就在今年上半年举办的“数据湖存储-自动驾驶”行业联赛中，腾讯云存储代表队已通过精湛的技术，给国内外球迷留下了深刻的印象。 而在这个月的“数据湖存储”冠军杯中，腾讯云存储代表队的首发阵容进一步得到升级，每位球员都是各自位置上的佼佼者。下面就让我们盘点一下腾讯云代表队的首发阵容！ 腾讯云元数据加速器，在数据湖场景中为用户提供原生HDFS访问能力，支持用户通过文件系统语义访问对象存储服务，提供百 Gb 级别带宽、十万级 qps 以及毫秒级延迟。 腾讯云存储产品也是业内数据湖存储领域的明星，我们也希望用稳定、高性能、高性价比的产品方案，为广大客户带来更优质的数据湖使用体验！
85920编辑于 2022-12-10 - 来自专栏大数据进阶
数据湖
，容易造成数据的不一致性 >数据更新成本大，需要重跑链路 3.Kappa 架构 >对消息队列存储要求高，消息队列的回溯能力不及离线存储 >消息队列本身对数据存储有时效性，且当前无法使用 OLAP 引擎直接分析消息队列 架构比略差 下面我们看下网上对于主流数据湖技术的对比 ? 7.高效的回缩能力 8.支持Schema变更 9.支持批流读写 9.支持批流读写 说完了技术体现，下面我们在简单说一下数据湖和数仓的理论定义 数据湖 其实数据湖就是一个集中存储数据库，用于存储所有结构化和非结构化数据 数据湖可用其原生格式存储任何类型的数据，这是没有大小限制。数据湖的开发主要是为了处理大数据量，擅长处理非结构化数据。 我们通常会将所有数据移动到数据湖中不进行转换。 数据湖中的每个数据元素都会分配一个唯一的标识符，并对其进行标记，以后可通过查询找到该元素。这样做技术能够方便我们更好的储存数据。 数据仓库 数据仓库是位于多个数据库上的大容量存储库。
1.3K30发布于 2021-07-01 - 来自专栏数栈技术分享
袋鼠云数据湖平台「DataLake」，存储全量数据，打造数字底座
数据湖概念一经提出，便受到了广泛关注，人们发现此概念代表了一种新的数据存储理念，海量异构数据统一存储可以很好地解决企业数据孤岛问题，方便企业数据管理与应用。 根据维基的定义，数据湖是一个以原始格式 (通常是对象块或文件) 存储数的系统或存储库。数据湖通常是所有企业数据的单一存储，用于报告、可视化、高级分析和机器学习等任务。 DataLake, 提供面向湖仓一体的数据湖管理分析服务，基于统一的元数据抽象构建一致性的数据访问，提供海量数据的存储管理和实时分析处理能力，可以帮助企业快速构建湖仓一体化平台，完成数字化基础建设。 异构数据源数据通过 ChunJun 同步到数据湖平台，历史数据存储 Iceberg 湖内，可以提供更高效的查询同时具备廉价存储。 多种底层存储湖仓平台支持 HDFS、S3、OSS、MInio 等多种底层存储，灵活满足客户不同数据存储需求。
1.8K21编辑于 2022-11-25 - 来自专栏用户5909132的专栏
直播报名中 | 湖存储第七期数据湖加速器 GooseFS 数据安全篇
“ 雁栖学堂-湖存储专题直播是腾讯云主办的国内首个湖存储百科知识直播节目，是一个围绕湖存储技术领域，基于存储加速服务，覆盖了前沿趋势，时事热点，客户案例，大咖分享，开发者成长路径等内容的直播交流平台 ” 雁栖学堂-湖存储专题直播第七期将邀请到腾讯云存储高级产品经理“林楠”，介绍数据湖加速器 GooseFS 数据成本篇 。 分享内容 本次分享内容主要探讨如何通过数据湖加速器 GooseFS，对象存储 COS 等服务搭建冷热分层的数据湖存储服务。 数据湖加速器 GooseFS 可以为用户提供高性能的缓存存储服务，提供了HDFS 生态亲和性，支持将海量分布式存储服务如对象存储 COS，云 HDFS 等作为远端存储。 对象存储 COS 则提供了多种不同梯次的存储类型，满足不同生命周期的数据存储需求。
63530发布于 2021-11-24 - 来自专栏用户5909132的专栏
直播报名中 | 湖存储第八期数据湖加速器 GooseFS 数据迁移篇
“ 雁栖学堂-湖存储专题直播是腾讯云主办的国内首个湖存储百科知识直播节目，是一个围绕湖存储技术领域，基于存储加速服务，覆盖了前沿趋势，时事热点，客户案例，大咖分享，开发者成长路径等内容的直播交流平台 ” 雁栖学堂-湖存储专题直播第八期将邀请到腾讯云存储高级产品经理“林楠”，介绍数据湖加速器 GooseFS 数据迁移篇 。 分享内容 本次分享内容主要探讨如何将本地大数据集群上的数据搬迁到公有云对象存储服务中。腾讯云提供了多种迁移服务方式，用户可以根据业务需求，按需选择适合自己业务的迁移方案。 本次分享内容将概述数据迁移的全流程，详细介绍使用迁移服务平台、离线迁移和cosdistcp等不同迁移方案迁移海量大数据。 分享大纲 1、全托管数据迁移服务，使用 MSP 产品迁移海量数据； 2、使用 COS Distcp 工具保障迁移过程中的数据安全； 3、离线数据迁移服务 CDM，低成本上云之路 直播时间：12月9日
43320编辑于 2021-12-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号