- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯云存储
数据湖加速器GooseFS，加速湖上数据分析性能
数据湖加速器 GooseFS 是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。 依靠对象存储（Cloud Object Storage，COS）作为数据湖存储底座的成本优势，为数据湖生态中的计算应用提供统一的数据湖入口，加速海量数据分析、机器学习、人工智能等业务访问存储的性能。 零、产品背景 近些年来以对象存储作为统一数据湖存储的趋势越来越明显。 2 存储一体化GooseFS 提供了统一的命名空间，为上层业务提供了统一的接口协议，底层支持对接COS、CHDFS、CSP等不同的存储服务，简化业务侧运维配置。 三、结语 GooseFS 旨在提供一站式的数据湖缓存加速解决方案，方便用户在不同的存储系统管理和流转数据，提升您的数据利用效率。
1.2K30发布于 2021-07-16 数据湖如何成为企业数据敏捷度的加速器？
本文深入探讨数据湖架构如何通过存算分离、多源数据整合、Serverless计算等特性，从数据获取、数据处理到数据分析全流程提升企业响应速度，并重点介绍腾讯云数据湖计算DLC的产品优势及市场认可。 腾讯云数据湖计算DLC作为国内唯一入选Gartner数据湖仓平台市场指南的产品，又提供了哪些解决方案？ 传统方式 DLC方式 敏捷度提升 数据需要ETL迁移 直接对接多源数据 准备时间从天数缩短至小时级 各系统独立分析 统一SQL联合查询 分析效率提升3倍以上 2. 成本对比示例（以典型企业月数据处理量计算）： 资源模式 月均成本 峰值处理能力 资源利用率 自建集群 5-8万元 固定，易过载或闲置 通常40-60% DLC Serverless 2-4万元 自动扩容 三、成功实践：数据湖敏捷度的真实价值体现 国内某在线教育平台火花思维通过迁移至腾讯云DLC，实现了核心报表产出时间提前2小时，整体成本下降30%。
19510编辑于 2025-11-06- 来自专栏用户5909132的专栏
直播报名中 | 湖存储第七期数据湖加速器 GooseFS 数据安全篇
“ 雁栖学堂-湖存储专题直播是腾讯云主办的国内首个湖存储百科知识直播节目，是一个围绕湖存储技术领域，基于存储加速服务，覆盖了前沿趋势，时事热点，客户案例，大咖分享，开发者成长路径等内容的直播交流平台 ” 雁栖学堂-湖存储专题直播第七期将邀请到腾讯云存储高级产品经理“林楠”，介绍数据湖加速器 GooseFS 数据成本篇 。 分享内容 本次分享内容主要探讨如何通过数据湖加速器 GooseFS，对象存储 COS 等服务搭建冷热分层的数据湖存储服务。 数据湖加速器 GooseFS 可以为用户提供高性能的缓存存储服务，提供了HDFS 生态亲和性，支持将海量分布式存储服务如对象存储 COS，云 HDFS 等作为远端存储。 分享大纲 1、基于 GooseFS 和 COS 构建冷热分层的数据湖 2、 COS 上的数据生命周期管理能力 直播时间：11月25日（周四） 19：00 报名方式：只需扫码输入手机号即可报名，报名成功将有机会领取精美礼品一份
62930发布于 2021-11-24 - 来自专栏腾讯云存储
拥抱云原生，数据湖加速器 GooseFS 助力 Fluid 数据缓存实现
01 前言 数据湖加速器 GooseFS 是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。 依靠对象存储（Cloud Object Storage，COS）作为数据湖存储底座的成本优势，为数据湖生态中的计算应用提供统一的数据湖入口，加速海量数据分析、机器学习、人工智能等业务访问存储的性能。 越来越多的大数据业务架构中采用了容器服务，减少了集群的资源冗余情况，有效降低了大数据业务成本。 现有云原生编排框架运行此类应用时，存在数据访问延时高、多数据源联合分析难、应用使用数据过程复杂等痛点。Fluid正是为解决这些问题而生的。 03 结语 数据湖加速器 GooseFS加速业务访问存储的性能。腾讯云容器服务为容器化的应用提供一系列完整功能，解决用户开发、测试及运维过程的环境一致性问题，提高了大规模容器集群管理的便捷性。
74730发布于 2021-08-18 - 来自专栏用户5909132的专栏
直播报名中 | 湖存储第八期数据湖加速器 GooseFS 数据迁移篇
“ 雁栖学堂-湖存储专题直播是腾讯云主办的国内首个湖存储百科知识直播节目，是一个围绕湖存储技术领域，基于存储加速服务，覆盖了前沿趋势，时事热点，客户案例，大咖分享，开发者成长路径等内容的直播交流平台 ” 雁栖学堂-湖存储专题直播第八期将邀请到腾讯云存储高级产品经理“林楠”，介绍数据湖加速器 GooseFS 数据迁移篇 。 分享内容 本次分享内容主要探讨如何将本地大数据集群上的数据搬迁到公有云对象存储服务中。腾讯云提供了多种迁移服务方式，用户可以根据业务需求，按需选择适合自己业务的迁移方案。 本次分享内容将概述数据迁移的全流程，详细介绍使用迁移服务平台、离线迁移和cosdistcp等不同迁移方案迁移海量大数据。 分享大纲 1、全托管数据迁移服务，使用 MSP 产品迁移海量数据； 2、使用 COS Distcp 工具保障迁移过程中的数据安全； 3、离线数据迁移服务 CDM，低成本上云之路 直播时间：12月9日
43020编辑于 2021-12-08 - 来自专栏超级架构师
【数据湖】塑造湖：数据湖框架
大数据和数据湖的风险和挑战 大数据带来的挑战如下： 容量——庞大的数据量是否变得难以管理？ 多样性——结构化表格？半结构化 JSON？完全非结构化的文本转储？ 准确性——当数据量不同、来源和结构不同以及它们到达湖的速度不同时，我们如何保持准确性和准确性？ 同时管理所有四个是挑战的开始。 很容易将数据湖视为任何事物的倾倒场。 这些数据可能都是完全相关和准确的，但如果用户找不到他们需要的东西，那么湖本身就没有价值。从本质上讲，数据淹没是指数据量如此之大，以至于您无法找到其中的内容。 框架 我们把湖分成不同的部分。关键是湖中包含各种不同的数据——一些已经过清理并可供业务用户使用，一些是无法辨认的原始数据，需要在使用之前进行仔细分析。 文件夹结构本身可以任意详细，我们自己遵循一个特定的结构： 原始数据区域是进入湖的任何文件的着陆点，每个数据源都有子文件夹。
1.3K20编辑于 2022-03-08 - 来自专栏用户5909132的专栏
拥抱云原生，数据湖加速器 GooseFS 助力 Fluid 数据缓存实现
01 前言 数据湖加速器 GooseFS 是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。 依靠对象存储（Cloud Object Storage，COS）作为数据湖存储底座的成本优势，为数据湖生态中的计算应用提供统一的数据湖入口，加速海量数据分析、机器学习、人工智能等业务访问存储的性能。 越来越多的大数据业务架构中采用了容器服务，减少了集群的资源冗余情况，有效降低了大数据业务成本。 现有云原生编排框架运行此类应用时，存在数据访问延时高、多数据源联合分析难、应用使用数据过程复杂等痛点。Fluid正是为解决这些问题而生的。 03 结语 数据湖加速器 GooseFS加速业务访问存储的性能。腾讯云容器服务为容器化的应用提供一系列完整功能，解决用户开发、测试及运维过程的环境一致性问题，提高了大规模容器集群管理的便捷性。
48430发布于 2021-08-25 - 来自专栏用户5909132的专栏
直播报名中 | 湖存储第六期数据湖加速器 GooseFS 数据安全篇
“ 雁栖学堂-湖存储专题直播是腾讯云主办的国内首个湖存储百科知识直播节目，是一个围绕湖存储技术领域，基于存储加速服务，覆盖了前沿趋势，时事热点，客户案例，大咖分享，开发者成长路径等内容的直播交流平台 ” 雁栖学堂-湖存储专题直播第六期将邀请到腾讯云存储高级产品经理“林楠”，介绍数据湖加速器 GooseFS 数据安全篇 。 分享内容 本次分享内容主要讨论构建数据湖过程中需要注意的数据安全事项，比如通过 Apache Ranger 控制 GooseFS 的资源访问权限，通过 COS 用户策略、存储桶策略等管控存储在对象存储上的数据安全等 通过本次分享，听众可以初步了解如何构建一个安全的数据湖。 分享大纲 数据湖加速器 GooseFS 数据安全篇： 1、GooseFS Ranger 的权限体系方案 2、对象存储 COS 的安全能力介绍 直播时间：11月11日（周四） 19：00 报名方式：只需扫码输入手机号即可报名
49510发布于 2021-11-10 - 来自专栏超级架构师
【数据湖】在 Azure Data Lake Storage gen2 上构建数据湖
介绍 一开始，规划数据湖似乎是一项艰巨的任务——决定如何最好地构建数据湖、选择哪种文件格式、是拥有多个数据湖还是只有一个数据湖、如何保护和管理数据湖。 在之前的博客中，我介绍了数据湖和 Azure 数据湖存储 (ADLS) gen2 的重要性，但本博客旨在为即将踏上数据湖之旅的人提供指导，涵盖构建数据湖的基本概念和注意事项ADLS gen2 上的数据湖 数据湖结构——区域 这一定是数据湖社区中最常争论的话题，简单的答案是每个数据湖都没有单一的蓝图——每个组织都有自己独特的一组需求。 由于这一层通常存储的数据量最大，因此可以考虑使用生命周期管理来降低长期存储成本。在撰写本文时，ADLS gen2 支持以编程方式或通过生命周期管理策略将数据移动到酷访问层。 之后无法将标准 v2 存储帐户迁移到 ADLS gen2 — 必须在创建帐户时启用 HNS。
1.4K10编辑于 2022-03-08 - 来自专栏Lansonli技术博客
数据湖（一）：数据湖概念
数据湖概念一、什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析对数据进行加工，例如：大数据处理 数据湖技术可以很好的实现存储层面上的“批流一体”，这就是为什么大数据中需要数据湖的原因。 三、数据湖与数据仓库的区别数据仓库与数据湖主要的区别在于如下两点：存储数据类型数据仓库是存储数据，进行建模，存储的是结构化数据；数据湖以其本源格式保存大量原始数据，包括结构化的、半结构化的和非结构化的数据 而对于数据湖，您只需加载原始数据，然后，当您准备使用数据时，就给它一个定义，这叫做读时模式（Schema-On-Read）。这是两种截然不同的数据处理方法。 因为数据湖是在数据使用时再定义模型结构，因此提高了数据模型定义的灵活性，可满足更多不同上层业务的高效率分析诉求。图片图片
2.7K94编辑于 2022-06-05 - 来自专栏大数据进阶
数据湖
语义能力方面比较吃力 >架构复杂，涉及多个系统协调，靠调度系统来构建任务依赖关系 2.Lambda 架构 >同时维护实时平台和离线平台两套引擎，运维成本高 >实时离线两个平台需要维护两套框架不同但业务逻辑相同代码 >支持实现分钟级到秒级的数据接入，实效性和Kappa 架构比略差 下面我们看下网上对于主流数据湖技术的对比 ? 从上图中我们可以看到hudi和iceberg的功能较齐全，下面我们将从如下几方面来 1.元数据打通 2.flink读写数据湖 3.增量更新 4.对事务的支持 5.对于写入hdfs小文件合并的支持 6.湖中的数据和仓中的数据的联通测试 7.高效的回缩能力 8.支持Schema变更 9.支持批流读写 9.支持批流读写 说完了技术体现，下面我们在简单说一下数据湖和数仓的理论定义 数据湖 其实数据湖就是一个集中存储数据库，用于存储所有结构化和非结构化数据 数据湖可用其原生格式存储任何类型的数据，这是没有大小限制。数据湖的开发主要是为了处理大数据量，擅长处理非结构化数据。 我们通常会将所有数据移动到数据湖中不进行转换。
1.2K30发布于 2021-07-01 - 来自专栏狗哥的专栏
大数据学习笔记2：现代数据湖之Iceberg
版本 日期 备注 1.0 2021.6.20 文章首发 从广义上来说数据湖系统主要包括数据湖村处和数据湖分析 现有数据湖技术主要由云厂商推动，包括基于对象存储的数据湖存储及在其之上的分析套件 基于对象存储 （S3，WASB）的数据湖存储技术，如Azure ADLS，AWS Lake Formation等 以及运行在其上的分析工具，如AWS EMR，Azure HDinsight，RStudio等等 2. （Hive、Spark）在向数据湖分析泛化，而数仓则向高性能架构演进 3. 现代数据湖的能力要求 支持流批计算 Data Mutation 支持事务 计算引擎抽象 存储引擎抽象 数据质量 元数据支持扩展 4.常见现代数据湖技术 Iceberg Apache Hudi Delta Lake 总的来说，这些数据湖都提供了这样的一些能力： 构建于存储格式之上的数据组织方式 提供ACID能力，提供一定的事务特性和并发能力 提供行级别的数据修改能力 确保schema的准确性
63010编辑于 2024-01-09 - 来自专栏【腾讯云开发者】
COS数据湖加速器GooseFS存算分离实践及性能优化
实际使用场景可提供2到10倍的加速。 元数据规模膨胀 随着数据量的增多，元数据急剧膨，Master有限的内存已经不足以存储所有元数据。GooseFS元数据支持内存及内存+Rocksdb两种存储模式，后者可以支撑更大量级的元数据。 由于ConcurrentHashMap特殊的数据结构，为了保证所有数据均有机会被淘汰掉，淘汰线程每次进行淘汰都会从同一个Iterator去获取数据，如图淘汰线程在t0、t1及t2时刻会从Iterator 为了保证每个Segment淘汰机会均等，淘汰进行在每次淘汰的时候都会从每个Segment的LruQueue中获取数据，最终组成一批待下沉数据进行淘汰，如图淘汰线程在t0、t1及t2时刻均会获取一个LruIterator 目前主要从事腾讯COS数据湖加速器GooseFS的开发工作，从事文件系统及分布式存储开发多年，有丰富的存储经验。 推荐阅读 C++反射：全面解读property的实现机制！
1.1K30编辑于 2022-03-03 - 来自专栏超级架构师
【数据湖仓】数据湖和仓库：范式简介
博客系列 数据湖和仓库第 1 部分：范式简介 数据湖和仓库第 2 部分：Databricks 和雪花 数据湖和仓库第 3 部分：Azure Synapse 观点 两种范式：数据湖与数据仓库 基于一些主要组件的选择 ，云分析解决方案可以分为两类：数据湖和数据仓库。 数据湖：去中心化带来的自由 数据湖范式的核心原则是责任分散。借助大量工具，任何人都可以在访问管理的范围内使用任何数据层中的数据：青铜、白银和黄金。 集中式数据湖元数据管理工具越来越多，但使用它们取决于开发过程。技术很少强制这样做。 结论：数据湖和数据仓库 在这篇文章中，我们讨论了数据仓库和基于数据湖的解决方案的基本方法或范式的差异。 原则上，您可以纯粹在数据湖或基于数据仓库的解决方案上构建云数据分析平台。 我见过大量基于数据湖工具的功能齐全的平台。在这些情况下，可以使用特定于用例的数据库数据集市来提供信息，而根本不需要数据仓库。
1.2K10编辑于 2022-03-08 - 来自专栏QQ大数据团队的专栏
从数据湖到元数据湖——TBDS新一代元数据湖管理
所以在Data+AI 时代，面对AI非结构化数据和大数据的融合，以及更复杂跨源数据治理能力的诉求，TBDS开发了第三阶段的全新一代统一元数据湖系统。 02、新一代元数据湖管理方案 TBDS全新元数据湖系统按照分层主要有统一接入服务层、统一Lakehouse治理层、统一元数据权限层、统一Catalog模型连接层。 统一接入服务对外提供开放标准的API接口给用户或引擎对元数据湖的各种操作，提供JDBC、REST API和Thrift协议三种方式访问元数据。 【2】随着库表及策略数持续增加，Ranger Plugin占用本地内存也持续增加，TBDS的生产经验值是100万策略情况下消耗的内存在10～20G左右。 【2】实现Ranger Plugin Agent的代码实现。
1.9K10编辑于 2024-09-26 - 来自专栏宜信技术实践
漫谈“数据湖”
而这一切的数据基础，正是数据湖所能提供的。 二、数据湖特点 数据湖本身，具备以下几个特点： 1）原始数据 海量原始数据集中存储，无需加工。 也就是数据湖将不同种类的数据汇聚到一起。 2）按需计算 使用者按需处理，不需要移动数据即可计算。数据库通常提供了多种数据计算引擎供用户来选择。常见的包括批量、实时查询、流式处理、机器学习等。 3）延迟绑定 数据湖提供灵活的，面向任务的数据编订，不需要提前定义数据模型。 三、数据湖优缺点 任何事物都有两面性，数据湖有优点也同样存在些缺点。 优点包括： 数据湖中的数据最接近原生的。 这也主要是因为数据过于原始带来的问题。 四、数据湖与关联概念 4.1 数据湖 vs 数据仓库 数据湖建设思路从本质上颠覆了传统数据仓库建设方法论。 2）处理数据方式 如果需要加载到数据仓库中的数据，我们首先需要定义好它，这叫做写时模式（Schema-On-Write）。
2.2K30发布于 2019-07-04 - 来自专栏区块链入门
数据仓库、数据湖、数据中台一文读懂【2】
在这个阶段一个隐含的重要工作是借助数据摸底工作，进一步梳理企业的组织结构，明确数据和组织结构之间关系。为后续明确数据湖的用户角色、权限设计、服务方式奠定基础。 2） 模型抽象。 依然需要摸清楚数据的基本情况，包括数据来源、数据类型、数据形态、数据模式、数据总量、数据增量。但是，也就需要做这么多了。数据湖是对原始数据做全量保存，因此无需事先进行深层次的设计。 2） 技术选型。 但是，这里需要指出的是： 1）流式引擎依然需要能够很方便的读取数据湖的元数据； 2）流式引擎任务也需要统一的纳入数据湖的任务管理； 3）流式处理任务依然需要纳入到统一的权限管理中。 DLA的SQL与ADB的SQL语法上完全兼容，这意味着开发者使用一套技术栈即能同时开发数据湖应用和数仓应用。 2） 都内置了对于OSS的访问支持。 数据湖还提供了数据资产管理能力，商家除了能管理原始数据外，还能将处理过的过程数据和结果数据分门别类保存，极大的提升了埋点数据的价值。 2） 分析模型化能力。
1.6K30编辑于 2022-03-23 - 来自专栏杨丝儿的小站
【数据湖】扫盲
什么是数据湖 数据湖是一种以原生格式存储各种大型原始数据集的数据库。您可以通过数据湖宏观了解自己的数据。 原始数据是指尙未针对特定目的处理过的数据。数据湖中的数据只有在查询后才会进行定义。 为什么出现了数据湖的概念 数据湖可为您保留所有数据，在您存储前，任何数据都不会被删除或过滤。有些数据可能很快就会用于分析，有些则可能永远都派不上用场。 数据从多种来源流入湖中，然后以原始格式存储。 数据湖和数据仓库的差别是什么？ 数据仓库可提供可报告的结构化数据模型。这是数据湖与数据仓库的最大区别。 数据湖架构 数据湖采用扁平化架构，因为这些数据既可能是非结构化，也可能是半结构化或结构化，而且是从组织内的各种来源所收集，而数据仓库则是把数据存储在文件或文件夹中。数据湖可托管于本地或云端。 他们还可以利用大数据分析和机器学习分析数据湖中的数据。 虽然数据在存入数据湖之前没有固定的模式，但利用数据监管，你仍然可以有效避免出现数据沼泽。
1.1K30编辑于 2022-03-20 - 来自专栏ITBA有话说
数据湖浅谈
什么是数据湖？ 数据入湖的方式 有物理入湖和虚拟入湖，物理入湖是指将数据复制到数据湖中，包括离线数据集成和实时数据集成两种方式。如果你对报表实时性要求很高，比如支撑实时监控类报表，那就需要入实时区。 虚拟入湖指原始数据不在数据湖中进行物理存储，而是通过建立对应虚拟表的集成方式实现入湖，实时性强，一般面向小数据量应用。 DM-Data Mart 数据集市， DM层数据来源于DWR层，面向展现工具和业务查询需求。DM根据展现需求分领域，主题汇总。 数据出湖 数据入了湖，自然要出湖，出湖即数据消费。 自助获取数据资产到租户 在数据地图搜索数据资产，数据资产目录逐层检索(L1主题域分组->L2主题域->L3业务对象->L4逻辑实体->L5属性)，通过不同的搜索方式，最后定位到需要的逻辑实体，加入到租户或在租户内申请个人使用权限
4.6K11发布于 2021-03-12 - 来自专栏韩锋频道
漫谈“数据湖”
数据湖 数据湖这一概念，最早在2011年首次提出由CITO Research网站的CTO和作家Dan Woods提出的。 而这一切的数据基础，正是数据湖所能提供的。 1 数据湖特点 数据湖本身，具备以下几个特点： 原始数据 海量原始数据集中存储，无需加工。 延迟绑定 数据湖提供灵活的，面向任务的数据编订，不需要提前定义数据模型。 2 数据湖优缺点 任何事物都有两面性，数据湖有优点也同样存在些缺点。 优点：数据湖中的数据最接近原生的。 这也主要是因为数据过于原始带来的问题。 3 数据湖与关联概念 数据湖 vs 数据仓库 数据湖建设思路从本质上颠覆了传统数据仓库建设方法论。传统的企业数据仓库则强调的是整合、面向主题、分层次等思路。 数据湖 vs 数据安全 数据湖中存放有大量原始及加工过的数据，这些数据在不受监管的情况下被访问是非常危险的。这里是需要考虑必要的数据安全及隐私保护问题，这些是需要数据湖提供的能力。
1.3K30发布于 2019-07-04
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号