- 综合排序
- 最热优先
- 最新优先
数据湖如何重塑云存储架构
数据湖如何在大规模下重塑某机构的S3服务数据湖帮助将对象存储转变为现代数据基础设施中最重要的层之一。 “20年后的今天，S3存储了超过500万亿个对象，每年处理超过千万亿次请求，支撑着超过一百万个数据湖，并为基础AI工作负载提供动力，”一位分析师表示。 “在活动期间，我们将探讨一项始于云存储的服务如何成为互联网时代，乃至如今AI时代的基础设施。”数据湖如何重塑云存储的角色数据湖的兴起改变了组织对存储架构的思考方式。 组织越来越依赖共享的数据基础，让分析引擎、应用程序和研究工作流可以针对同一数据集进行操作。“如今，二十年过去了，S3已经超越了简单的对象存储GET/PUT语法的吸引力，”另一位分析师指出。 “S3已成为分析、安全、合规以及近期AI时代工作负载的基础数据层。”这种转变也扩展了构建在对象存储之上的工作负载类型。
26210编辑于 2026-04-06腾讯云数据湖存储 GooseFS 技术概要
A New Generation of Open Platforms that Unify DataWarehousing and Advanced Analytics》 一、 产品定位与核心亮点 数据湖存储 技术定义： 基于对象存储 COS 构建的分布式缓存层，通过高性能元数据引擎和数据亲和性调度，解决计算集群（尤其是 AI/ML 场景）与存储之间的性能鸿沟。 数据质量不可靠（过去 1 年遇到脏数据）且分析时效低（没时间分析结果）。 场景： 需要海量、低成本且支持结构化/半结构化/非结构化数据的统一存储底座。 2. 服务端： 包含 Master（元数据管理）和 Worker（数据缓存）节点，通过分布式缓存和高性能元数据引擎提供服务。 2. 荣誉背书 底层对象存储 COS 采用 YOTTA 自研存储引擎，具备 EB 级扩展能力。 架构理念参考 DataBricks 提出的 Lakehouse（湖仓一体） 新一代开放平台架构。
34010编辑于 2026-05-30- 来自专栏用户5909132的专栏
腾讯云对象存储联合DataBend云数仓打通数据湖和数据仓库
伴随多场景的成功落地，腾讯云对象存储打造基于云技术的湖仓一体解决方案。 腾讯云对象存储打造开放的湖仓一体解决方案，与业界优秀的云数仓Databend Cloud深度合作，打破数仓和数据湖之间的壁垒，减少了数据分析中的搬迁，实现数据融合和统一数据管理，以便用户快速、高效、按需的进行数据分析 为保障腾讯云对象存储联合Databend Cloud的湖仓一体解决方案的品质，Databend 云数据仓库系统已通过腾讯云官方认证；近日，双方共同见证Databend获得腾讯云技术认证。 ，就能完成从0到用上湖仓一体方案；高效：直接对COS数据湖的数据进行分析，省去数据搬移、转换等繁琐易错的数据管理操作，且云上对象存储COS是海量的、低成的存储方案；按需，利用云上构建的优势，数据分析的数据量 点击“阅读原文”即可登录腾讯云对象存储COS
1K20编辑于 2023-07-16 - 来自专栏云计算D1net
云存储（对象存储）性价比小谈
概述 这几年云存储成为云计算领域最为火热的产品之一，大家众说纷“云”，互联网的未来就是数据争抢的未来，所有数据都会优选存储在云中。 一般云存储会分几种类型：对象存储（冷、热数据存储）、块存储、表格存储等，今天主要是评测的是对象存储中的热存储，小编带着大家一起通过性价比的对比方式来给各个云厂商排出名次。 2、Transactions Per Second（TPS）：平均每秒处理的事务数 B、选取的请求：Get（下载），Put（上传）来测试其性能， C、价格数据：官网价格（截止到2015年11月）。 性能数据结果 为了模拟真实的用户场景，我们预先在各个云厂商存储中分别压入了接近3000万个对象，涵盖了6个不同尺寸大小的对象，分别是1KB、10KB、100KB、1MB、10MB、1GB，在做下载请求的时候 2、综合性价比排名：阿里云>AWS 华为云>金山云>Azure>七牛云 ? ?
15.1K50发布于 2018-03-23 - 来自专栏全栈开发那些事
腾讯云对象存储
腾讯云对象存储 1、对象存储COS 1.1 开通“对象存储COS”服务 1.2 创建Bucket 1.3 创建API密钥 1.4 快速入门 2、整合腾讯云对象存储 2.1、service_vod模块引入依赖 ，这次换成腾讯云试试，大致思路都是一样的 1、对象存储COS 对象存储（Cloud Object Storage，COS）是由腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP 腾讯云 COS 的存储桶空间无容量上限，无需分区管理，适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。 1.1 开通“对象存储COS”服务 （1）申请腾讯云账号：https://cloud.tencent.com/ （2）实名认证 （3）开通“对象存储COS”服务 （4）进入管理控制台 1.2 创建Bucket 2、整合腾讯云对象存储 2.1、service_vod模块引入依赖 <dependencies> <!
66K50编辑于 2023-02-25 - 来自专栏用户5909132的专栏
“数据湖存储”冠军杯足球赛开幕，腾讯云存储出征！
“数据湖存储”冠军杯是数据湖领域内的世界级赛事，随着云上“数据湖存储”产品理念的逐步普及，今年的比赛也获得了国内外众多球迷的关注。 而在这个月的“数据湖存储”冠军杯中，腾讯云存储代表队的首发阵容进一步得到升级，每位球员都是各自位置上的佼佼者。下面就让我们盘点一下腾讯云代表队的首发阵容！ 腾讯云对象存储COS提供海量、弹性的存储空间，提供12个9的数据可靠性和99.995%的服务可用性，承载了国内外200万用户超过15EB的数据。 腾讯云元数据加速器，在数据湖场景中为用户提供原生HDFS访问能力，支持用户通过文件系统语义访问对象存储服务，提供百 Gb 级别带宽、十万级 qps 以及毫秒级延迟。 腾讯云存储产品也是业内数据湖存储领域的明星，我们也希望用稳定、高性能、高性价比的产品方案，为广大客户带来更优质的数据湖使用体验！
97920编辑于 2022-12-10 - 来自专栏云服务器购买
对象存储COS-腾讯云对象存储服务COS
腾讯云对象存储 COS 安全稳定、海量、便捷、低延迟、低成本的云端存储服务 腾讯云对象存储服务COS详细介绍点击查看 对象存储（Cloud Object Storage，COS）是由腾讯云推出的无目录层次结构 腾讯云 COS 的存储桶空间无容量上限，无需分区管理，适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。 腾讯云 COS 的特性 稳定持久 腾讯云对象存储提供数据跨多架构、多设备冗余存储，为用户数据提供异地容灾和资源隔离功能，为每一个对象实现高达99.999999999%的数据持久性，保障您数据的耐久性高于其他存储架构 COS 还提供能够将存储桶挂载到本地的工具，让您能像使用本地文件系统一样直接操作腾讯云对象存储。 对象存储支持存储 EB 级别非结构化数据，高可用、高可靠、高安全和可扩展性，结合使用腾讯云大数据套件，快速构建和部署分析应用程序。
22.6K71发布于 2019-08-06 - 来自专栏腾讯云存储
腾讯云数据湖存储荣获【技术卓越奖】
评审团通过对技术深度、影响力、可持续性、市场应用等多维度筛选，腾讯云数据湖存储荣获2024年度 IT168 技术卓越奖。 IT168 点评：腾讯云数据湖存储采用了分布式集群架构，具备高性能、低延迟、大吞吐等特性，能够为上层计算应用提供统一的命名空间和访问协议，方便用户在不同的存储系统管理和流转数据。 技术卓越奖：腾讯云数据湖存储 腾讯云数据湖存储技术通过在对象存储 COS 上搭建一个分布式高性能文件系统——数据湖加速器 GooseFS，实现了存储计算分离架构下，对象存储 COS 的加速访问。 相比原生对象存储吞吐量提升8~10倍，同时降低90%的存储带宽消耗，满足了数据湖场景中对海量数据高性能、低延迟、大吞吐的要求。 腾讯云数据湖存储能够加速海量数据分析、机器学习、人工智能等业务访问存储的性能，适用于基因计算、自动加速等业务场景。
68400编辑于 2025-02-10 - 来自专栏Lansonli技术博客
数据湖（八）：Iceberg数据存储格式
Iceberg数据存储格式一、Iceberg术语data files（数据文件）:数据文件是Apache Iceberg表真实存储数据的文件，一般是在表的数据存储目录的data目录下，如果我们的文件格式选择的是 这个元数据文件中存储的是Manifest file列表，每个Manifest file占据一行。 每行中存储了Manifest file的路径、其存储的数据文件（data files）的分区范围，增加了几个数文件、删除了几个数据文件等信息，这些信息可以用来在查询时提供过滤，加快速度。 Manifest file是以avro格式进行存储的，以“.avro”后缀结尾，例如：8138fce4-40f7-41d7-82a5-922274d2abba-m0.avro。 二、表格式Table FormatApache Iceberg作为一款数据湖解决方案,是一种用于大型分析数据集的开放表格式(Table Format),表格式可以理解为元数据及数据文件的一种组织方式
2.4K92编辑于 2022-06-19 - 来自专栏产品体验优化私房菜课程
腾讯云-对象存储介绍
) :提供块级别存储， 类似的产品例如aws ebs, ceph rdb，tencent cbs(云硬盘)等， 通常使用scsi， iscsi协议，数据协议共享， 存储效率高，特点是一个云主机只能挂载一个云硬盘 缺点是协议开销大， 效率不高，优点是数据易于共享，譬如一个cfs盘可以被多个云主机挂载。 网站地址：https://cloud.tencent.com/product/cfs 对象存储(cos Cloud Object Storage):对象是文件的数据和一组属性信息的组合。 网站地址：https://cloud.tencent.com/product/cos 对象存储类型分类 标准存储 标准存储（默认）适用于实时访问大量热点文件、频繁的数据交互等业务场景。 低频存储 低频存储数据取回会产生费用，适用于较低访问频率（例如平均每月访问频率1到2次）的业务场景。
23.9K3732发布于 2020-09-05 - 来自专栏用户5909132的专栏
明晚19点直播 | 深度剖析：数据湖中的对象存储
“ 数据要素的高效利用正逐步成为企业商业价值实现的一个关键难题。随着数据规模的增加，数据格式的丰富，如何低成本存储海量数据、高效完成大规模数据分析将直接影响到企业降本增效的目标。 腾讯云为企业用户提供了完备、便捷的数据湖存储服务，基于安全、可靠、低成本的对象存储，利用三级加速体系，帮助企业在公有云上快速分析和流转数据，实现企业商业价值。 ” 明晚19点，来腾讯云视频号直播间，腾讯云高级工程师“张伟”将深度剖析“数据湖中的对象存储”，和你一起畅聊技术。 直播主题： 深度剖析：数据湖中的对象存储 直播时间：（明晚）7月20日 19:00—20:00 直播内容： - 什么是数据湖 - 为什么对象存储是数据湖存储的核心 - 对象存储COS助力数据湖加速 识别下方海报中的二维码
62210编辑于 2022-07-19 - 来自专栏用户5909132的专栏
COS数据湖存储引领大数据存储和自动驾驶存储发展趋势
11月26日在QCon大会上，腾讯云数据湖存储研发负责人严俊明和技术专家程力受邀分享了数据湖存储的关键技术，并分享了数据湖存储在大数据及自动驾驶场景下的落地实践，助力用户业务降本增效。 ，打破数据孤岛；利用公有云对象存储做数据湖存储底座，让数据具备高弹性扩展、高持久性、高可用性，并降低了存储成本。 数据湖存储的底座- 可靠性12个9的ZB级海量对象存储COS 对象存储(Cloud Object Storage) COS 是腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP/ AMD的SA2低成本机型再叠加对象存储COS，仅部分节点部署GooseFS Server，该存算分离方案帮助客户降低40%以上成本。 自动驾驶专云解决方案将采集到的车辆原始数据先写入本地IDC，之后通过TStor OneCOS将数据上传到云上对象存储COS，为客户在本地IDC提供海量、低成本对象存储服务。
1.7K40编辑于 2022-12-15 - 来自专栏腾讯云存储
【2022分布式存储峰会】腾讯云存储为您带来：云原生时代下的数据湖存储服务
大会时间：今日15:00～15:30 大会主题：云原生时代下的数据湖存储服务 2022年4月14日，由百易传媒 (DOIT) 与厦门大学信息学院联合主办的“2022分布式存储论坛峰会”将在线上举行 ，旨在推动分布式存储技术发展与应用。 本次峰会设置了分布式存储论坛和混合云数据管理论坛，腾讯云存储高级产品经理——林楠老师将于15:00～15:30出席大会，就“云原生时代下的数据湖存储服务”进行分享和探讨。 数据要素的高效利用正逐步成为企业商业价值实现的一个关键难题。随着数据规模的增加，数据格式的丰富，如何低成本存储海量数据、高效完成大规模数据分析将直接影响到企业降本增效的目标。 腾讯云为企业用户提供了完备、便捷的数据湖存储服务，基于安全、可靠、低成本的对象存储，利用三级加速体系，帮助企业在公有云上快速分析和流转数据，实现企业商业价值。
1.5K10编辑于 2022-04-14 - 来自专栏腾讯云存储
腾讯云对象存储 COS 荣获对象存储领导力奖！！！
在6月10日下午举办的【对象存储论坛】上，腾讯云存储技术总监王淼发表了题为《对象存储内容分发应用：数据处理实践》的精彩演讲。 数据湖作为一个以原始数据格式为存储的系统，为数据分析、数据处理、机器学习等提供了极大的便利，而云的扩展性、高性能、支持地域的广泛性、以及云上所提供的丰富的数据处理和分析能力，都使其成为数据湖理想的载体。 从对象存储数据治理生态全景图中可以看到，除了对象存储标准接口之外，还可以通过消息队列、结构化存储系统、视频流等多种数据源，将数据快速方便地入湖，湖上也提供了丰富的数据处理和分析能力，消除数据孤岛，实现计算存储分离 ，由于部署及架构等原因，在业务实践中也遇到了不少挑战：主要体现在 IO 性能、目录操作以及存算分离需要的大带宽上，针对这些问题，腾讯云对象存储作为数据湖的底座，提供了多级数据加速服务，以满足不同场景的需要 场景化能力 除了提供原子的处理能力、流程化的任务系统，腾讯云对象存储最近还推出了两个面向垂直场景的服务：针对视频监控场景的明瞳智控和针对网盘相册场景的智能媒资托管服务，后续对象存储还会面向数据湖推出更多贴合业务场景的轻应用能力
7.8K30发布于 2021-06-21 - 来自专栏用户5909132的专栏
【2022分布式存储峰会】腾讯云存储为您带来：云原生时代下的数据湖存储服务
2022年4月14日，由百易传媒 (DOIT) 与厦门大学信息学院联合主办的“2022分布式存储论坛峰会”将在线上举行，旨在推动分布式存储技术发展与应用。 本次峰会设置了分布式存储论坛和混合云数据管理论坛，腾讯云存储高级产品经理——林楠老师将于15:00～15:30出席大会，就“云原生时代下的数据湖存储服务”进行分享和探讨。 数据要素的高效利用正逐步成为企业商业价值实现的一个关键难题。随着数据规模的增加，数据格式的丰富，如何低成本存储海量数据、高效完成大规模数据分析将直接影响到企业降本增效的目标。 腾讯云为企业用户提供了完备、便捷的数据湖存储服务，基于安全、可靠、低成本的对象存储，利用三级加速体系，帮助企业在公有云上快速分析和流转数据，实现企业商业价值。
1.2K30编辑于 2022-04-14 - 来自专栏ApacheHudi
火山引擎数据湖存储内核揭秘
火山引擎LAS 全称（Lakehouse Analysis Service）湖仓一体分析服务，融合了湖与仓的优势，既能够利用湖的优势将所有数据存储到廉价存储中，供机器学习、数据分析等场景使用，又能基于数据湖构建数仓供 本文将从统一的元数据服务和表操作管理服务两大方面，揭秘如何基于Hudi如何构建数据湖存储内核。 LAS介绍 火山引擎LAS 全称（Lakehouse Analysis Service）湖仓一体分析服务，融合了湖与仓的优势，既能够利用湖的优势将所有数据存储到廉价存储中，供机器学习、数据分析等场景使用 基于 LAS 构建企业级实时湖仓，无论离线数据还是实时数据，都可以放到 LAS 流批一体存储中。 MetaServer整体分为两大块——存储层和服务层。存储层用于存储数据湖的所有元数据，服务层用于接受所有元数据的相关增删改查请求。整个服务层是无状态的，因此支持水平扩展。
1K10编辑于 2023-12-13 - 来自专栏解密云服务
掀起“公有云对象存储服务”的面纱（系列2）
上次内容主要关于厂商选取和数据上云这两个问题，本文主要讨论对象存储API（Application Programming Interface）和SDK(Software Development Kit) 几乎所有对象存储服务提供商都兼容S3 API，API是什么？对象存储常用API有哪些？使用上需要注意什么？ 首先，先说一个题外的事实——对于非技术人员来说，使用公有云对象存储也不是很难。 这些图形界面的工具虽然更用户友好（几乎无使用门槛），但是却不是对象存储使用的主要场景。对象存储的适用场景是大量的数据内容通过公网发布，可供终端用户通过网页、app，小程序等方式进行访问、编辑等操作。 国内绝大部分提供公有云对象存储服务的厂商都兼容了S3的API，对于使用者来说有一个明显的好处就是数据迁移后代码没有太多重构的成本。 解密公有云对象存储.png 本次分享就到这里，下期预告： 我的数据需要永久存储么，数据生命周期管理怎么用？ 可能还会闲聊一下GDPR……
2.8K120发布于 2018-06-05 - 来自专栏数栈技术分享
袋鼠云数据湖平台「DataLake」，存储全量数据，打造数字底座
根据维基的定义，数据湖是一个以原始格式 (通常是对象块或文件) 存储数的系统或存储库。数据湖通常是所有企业数据的单一存储，用于报告、可视化、高级分析和机器学习等任务。 二、袋鼠云数据湖平台数字经济时代，如何有效利用不同来源、规模巨大的数据，从而加快数据价值化的呈现，把数据用活，成为很多企业的难题。 秉承「让数据创造价值」的使命，袋鼠云进一步夯实企业数字化转型的数据基座。今年 7 月的 2022 年产品发布会上，袋鼠云首发数据湖平台 ——DataLake。 ・引入 ChunJun，提供数据同步效率实现秒级快速入湖・全数据同步量 / 增量一体化，链路短组件少开发维护成本低・不影响在线业务的稳定2. 快照管理袋鼠云数据湖平台支持快照历史管理，支持多版本间快照变更对比，支持湖表时间旅行，一键回滚到指定数据版本。数据入湖创建入湖任务，选择一张 Hive 进行转表入湖，一键生成湖表信息。
1.9K21编辑于 2022-11-25 腾讯云数据湖存储 GooseFS：大模型存储基础设施技术解析与应用实践
是一款定位为“大模型存储基础设施”的统一数据湖存储服务。 其核心技术属性在于打通对象存储（COS）与计算节点之间“最后一公里”的数据流通。 功能框架 GooseFS 构建于对象存储（COS）之上，作为接入层连接上层计算节点。其架构分为： 计算端加速：通过数据亲和性调度，将热点数据下沉至 GPU 本地盘。 服务端加速：部署高性能分布式元数据引擎与分布式缓存。 2. 硬核指标 扩展能力：基于腾讯云自研 YOTTA 存储引擎，单集群最多可扩展至 100 EB（百 EB 级） 数据规模。 荣誉背书 底层依托腾讯云 YOTTA 自研存储引擎 提供核心支撑（注：原文材料中未列出外部颁发的特定奖项或荣誉名称）。
35110编辑于 2026-05-30- 来自专栏云安全社区
腾讯云COS对象存储攻防
文章首发于：火线Zone云安全社区 01 Bucket 公开访问 腾讯云存储桶的访问权限默认为私有读写权限,且存储桶名称会带上一串时间戳： 账户中的访问策略包括用户组策略、用户策略、存储桶访问控制列表 当腾讯云 COS 收到请求时，首先会确认请求者身份，并验证请求者是否拥有相关权限。验证的过程包括检查用户策略、存储桶访问策略和基于资源的访问控制列表，对请求进行鉴权。 --摘自腾讯云官方文档 上图我们仅配置了存储桶访问权限，于是因为设置了私有读写，无权访问该文件，Message 为 “Access Denied.” 02 Bucket Object 遍历 如果策略中允许了 Object的List操作，则在目标资源范围下，会将所有的Bucket Object显示出来，这时，Key值可以理解为文件的目录，通过拼接可获取对应的文件： 有趣的是，在腾讯云的访问策略体系中，如果存储桶访问权限为私有读写 06 用户身份凭证（签名）泄露 通过 RESTful API 对对象存储（Cloud Object Storage，COS）可以发起 HTTP 匿名请求或 HTTP 签名请求。
23.4K60编辑于 2022-03-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号