- 综合排序
- 最热优先
- 最新优先
数据湖如何重塑云存储架构
数据湖如何在大规模下重塑某机构的S3服务数据湖帮助将对象存储转变为现代数据基础设施中最重要的层之一。 “20年后的今天，S3存储了超过500万亿个对象，每年处理超过千万亿次请求，支撑着超过一百万个数据湖，并为基础AI工作负载提供动力，”一位分析师表示。 “在活动期间，我们将探讨一项始于云存储的服务如何成为互联网时代，乃至如今AI时代的基础设施。”数据湖如何重塑云存储的角色数据湖的兴起改变了组织对存储架构的思考方式。 组织越来越依赖共享的数据基础，让分析引擎、应用程序和研究工作流可以针对同一数据集进行操作。“如今，二十年过去了，S3已经超越了简单的对象存储GET/PUT语法的吸引力，”另一位分析师指出。 “S3已成为分析、安全、合规以及近期AI时代工作负载的基础数据层。”这种转变也扩展了构建在对象存储之上的工作负载类型。
17210编辑于 2026-04-06- 来自专栏用户5909132的专栏
腾讯云对象存储联合DataBend云数仓打通数据湖和数据仓库
伴随多场景的成功落地，腾讯云对象存储打造基于云技术的湖仓一体解决方案。 腾讯云对象存储打造开放的湖仓一体解决方案，与业界优秀的云数仓Databend Cloud深度合作，打破数仓和数据湖之间的壁垒，减少了数据分析中的搬迁，实现数据融合和统一数据管理，以便用户快速、高效、按需的进行数据分析 为保障腾讯云对象存储联合Databend Cloud的湖仓一体解决方案的品质，Databend 云数据仓库系统已通过腾讯云官方认证；近日，双方共同见证Databend获得腾讯云技术认证。 ，就能完成从0到用上湖仓一体方案；高效：直接对COS数据湖的数据进行分析，省去数据搬移、转换等繁琐易错的数据管理操作，且云上对象存储COS是海量的、低成的存储方案；按需，利用云上构建的优势，数据分析的数据量 点击“阅读原文”即可登录腾讯云对象存储COS
85320编辑于 2023-07-16 - 来自专栏云计算D1net
云存储（对象存储）性价比小谈
概述 这几年云存储成为云计算领域最为火热的产品之一，大家众说纷“云”，互联网的未来就是数据争抢的未来，所有数据都会优选存储在云中。 一般云存储会分几种类型：对象存储（冷、热数据存储）、块存储、表格存储等，今天主要是评测的是对象存储中的热存储，小编带着大家一起通过性价比的对比方式来给各个云厂商排出名次。 性能数据结果 为了模拟真实的用户场景，我们预先在各个云厂商存储中分别压入了接近3000万个对象，涵盖了6个不同尺寸大小的对象，分别是1KB、10KB、100KB、1MB、10MB、1GB，在做下载请求的时候 ，例如华为对象存储是华北区，在华为云上购买的弹性云（测试机）也是华北区，阿里云的云存储是北京区的，测试机（ECS）也选用北京区的，小编在测试AWS的时候，AWS的华北区仅仅是预览版，所以选择了AWS的俄勒冈 价格数据 现在小编要模拟一个客户真实的场景，来计算一下实际的发生费用，假定一个中小型客户：客户每月的存储空间10T，每天下载流量100G/天，上传和下载的请求次数50万次/天，其中AWS和阿里云的存储分为热存储和冷存储
13.9K50发布于 2018-03-23 - 来自专栏全栈开发那些事
腾讯云对象存储
腾讯云对象存储 1、对象存储COS 1.1 开通“对象存储COS”服务 1.2 创建Bucket 1.3 创建API密钥 1.4 快速入门 2、整合腾讯云对象存储 2.1、service_vod模块引入依赖 ，这次换成腾讯云试试，大致思路都是一样的 1、对象存储COS 对象存储（Cloud Object Storage，COS）是由腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP 腾讯云 COS 的存储桶空间无容量上限，无需分区管理，适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。 1.1 开通“对象存储COS”服务 （1）申请腾讯云账号：https://cloud.tencent.com/ （2）实名认证 （3）开通“对象存储COS”服务 （4）进入管理控制台 1.2 创建Bucket 看看存储桶中是否有对应的文件。 没有问题，到此，腾讯云对象存储就实现了。
64.7K50编辑于 2023-02-25 - 来自专栏用户5909132的专栏
“数据湖存储”冠军杯足球赛开幕，腾讯云存储出征！
“数据湖存储”冠军杯是数据湖领域内的世界级赛事，随着云上“数据湖存储”产品理念的逐步普及，今年的比赛也获得了国内外众多球迷的关注。 而在这个月的“数据湖存储”冠军杯中，腾讯云存储代表队的首发阵容进一步得到升级，每位球员都是各自位置上的佼佼者。下面就让我们盘点一下腾讯云代表队的首发阵容！ 腾讯云对象存储COS提供海量、弹性的存储空间，提供12个9的数据可靠性和99.995%的服务可用性，承载了国内外200万用户超过15EB的数据。 腾讯云元数据加速器，在数据湖场景中为用户提供原生HDFS访问能力，支持用户通过文件系统语义访问对象存储服务，提供百 Gb 级别带宽、十万级 qps 以及毫秒级延迟。 腾讯云存储产品也是业内数据湖存储领域的明星，我们也希望用稳定、高性能、高性价比的产品方案，为广大客户带来更优质的数据湖使用体验！
85520编辑于 2022-12-10 - 来自专栏云服务器购买
对象存储COS-腾讯云对象存储服务COS
腾讯云对象存储 COS 安全稳定、海量、便捷、低延迟、低成本的云端存储服务 腾讯云对象存储服务COS详细介绍点击查看 对象存储（Cloud Object Storage，COS）是由腾讯云推出的无目录层次结构 腾讯云 COS 的存储桶空间无容量上限，无需分区管理，适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。 腾讯云 COS 的特性 稳定持久 腾讯云对象存储提供数据跨多架构、多设备冗余存储，为用户数据提供异地容灾和资源隔离功能，为每一个对象实现高达99.999999999%的数据持久性，保障您数据的耐久性高于其他存储架构 COS 还提供能够将存储桶挂载到本地的工具，让您能像使用本地文件系统一样直接操作腾讯云对象存储。 对象存储支持存储 EB 级别非结构化数据，高可用、高可靠、高安全和可扩展性，结合使用腾讯云大数据套件，快速构建和部署分析应用程序。
21.2K71发布于 2019-08-06 - 来自专栏腾讯云存储
腾讯云数据湖存储荣获【技术卓越奖】
评审团通过对技术深度、影响力、可持续性、市场应用等多维度筛选，腾讯云数据湖存储荣获2024年度 IT168 技术卓越奖。 IT168 点评：腾讯云数据湖存储采用了分布式集群架构，具备高性能、低延迟、大吞吐等特性，能够为上层计算应用提供统一的命名空间和访问协议，方便用户在不同的存储系统管理和流转数据。 技术卓越奖：腾讯云数据湖存储 腾讯云数据湖存储技术通过在对象存储 COS 上搭建一个分布式高性能文件系统——数据湖加速器 GooseFS，实现了存储计算分离架构下，对象存储 COS 的加速访问。 相比原生对象存储吞吐量提升8~10倍，同时降低90%的存储带宽消耗，满足了数据湖场景中对海量数据高性能、低延迟、大吞吐的要求。 腾讯云数据湖存储能够加速海量数据分析、机器学习、人工智能等业务访问存储的性能，适用于基因计算、自动加速等业务场景。
45100编辑于 2025-02-10 - 来自专栏Lansonli技术博客
数据湖（八）：Iceberg数据存储格式
Iceberg数据存储格式一、Iceberg术语data files（数据文件）:数据文件是Apache Iceberg表真实存储数据的文件，一般是在表的数据存储目录的data目录下，如果我们的文件格式选择的是 这个元数据文件中存储的是Manifest file列表，每个Manifest file占据一行。 每行中存储了Manifest file的路径、其存储的数据文件（data files）的分区范围，增加了几个数文件、删除了几个数据文件等信息，这些信息可以用来在查询时提供过滤，加快速度。 二、表格式Table FormatApache Iceberg作为一款数据湖解决方案,是一种用于大型分析数据集的开放表格式(Table Format),表格式可以理解为元数据及数据文件的一种组织方式 Iceberg底层数据存储可以对接HDFS，S3文件系统，并支持多种文件格式，处于计算框架（Spark、Flink）之下，数据文件之上。
2.2K92编辑于 2022-06-19 - 来自专栏产品体验优化私房菜课程
腾讯云-对象存储介绍
) :提供块级别存储， 类似的产品例如aws ebs, ceph rdb，tencent cbs(云硬盘)等， 通常使用scsi， iscsi协议，数据协议共享， 存储效率高，特点是一个云主机只能挂载一个云硬盘 缺点是协议开销大， 效率不高，优点是数据易于共享，譬如一个cfs盘可以被多个云主机挂载。 网站地址：https://cloud.tencent.com/product/cfs 对象存储(cos Cloud Object Storage):对象是文件的数据和一组属性信息的组合。 网站地址：https://cloud.tencent.com/product/cos 对象存储类型分类 标准存储 标准存储（默认）适用于实时访问大量热点文件、频繁的数据交互等业务场景。 归档存储 归档存储提供了最低的存储单价，但读取数据的时候需要较长的解冻时间，因而适合需要长期保存数据的业务场景。
22.2K3732发布于 2020-09-05 - 来自专栏用户5909132的专栏
明晚19点直播 | 深度剖析：数据湖中的对象存储
“ 数据要素的高效利用正逐步成为企业商业价值实现的一个关键难题。随着数据规模的增加，数据格式的丰富，如何低成本存储海量数据、高效完成大规模数据分析将直接影响到企业降本增效的目标。 腾讯云为企业用户提供了完备、便捷的数据湖存储服务，基于安全、可靠、低成本的对象存储，利用三级加速体系，帮助企业在公有云上快速分析和流转数据，实现企业商业价值。 ” 明晚19点，来腾讯云视频号直播间，腾讯云高级工程师“张伟”将深度剖析“数据湖中的对象存储”，和你一起畅聊技术。 直播主题： 深度剖析：数据湖中的对象存储 直播时间：（明晚）7月20日 19:00—20:00 直播内容： - 什么是数据湖 - 为什么对象存储是数据湖存储的核心 - 对象存储COS助力数据湖加速 识别下方海报中的二维码
51010编辑于 2022-07-19 - 来自专栏用户5909132的专栏
COS数据湖存储引领大数据存储和自动驾驶存储发展趋势
11月26日在QCon大会上，腾讯云数据湖存储研发负责人严俊明和技术专家程力受邀分享了数据湖存储的关键技术，并分享了数据湖存储在大数据及自动驾驶场景下的落地实践，助力用户业务降本增效。 ，打破数据孤岛；利用公有云对象存储做数据湖存储底座，让数据具备高弹性扩展、高持久性、高可用性，并降低了存储成本。 数据湖存储的底座- 可靠性12个9的ZB级海量对象存储COS 对象存储(Cloud Object Storage) COS 是腾讯云推出的无目录层次结构、无数据格式限制，可容纳海量数据且支持 HTTP/ 数据湖加速器GooseFS赋能混合云，助力自动驾驶训练 近几年间，自动驾驶行业飞速发展，越来越多的车企选择数据上云。 自动驾驶专云解决方案将采集到的车辆原始数据先写入本地IDC，之后通过TStor OneCOS将数据上传到云上对象存储COS，为客户在本地IDC提供海量、低成本对象存储服务。
1.5K40编辑于 2022-12-15 - 来自专栏腾讯云存储
【2022分布式存储峰会】腾讯云存储为您带来：云原生时代下的数据湖存储服务
大会时间：今日15:00～15:30 大会主题：云原生时代下的数据湖存储服务 2022年4月14日，由百易传媒 (DOIT) 与厦门大学信息学院联合主办的“2022分布式存储论坛峰会”将在线上举行 ，旨在推动分布式存储技术发展与应用。 本次峰会设置了分布式存储论坛和混合云数据管理论坛，腾讯云存储高级产品经理——林楠老师将于15:00～15:30出席大会，就“云原生时代下的数据湖存储服务”进行分享和探讨。 数据要素的高效利用正逐步成为企业商业价值实现的一个关键难题。随着数据规模的增加，数据格式的丰富，如何低成本存储海量数据、高效完成大规模数据分析将直接影响到企业降本增效的目标。 腾讯云为企业用户提供了完备、便捷的数据湖存储服务，基于安全、可靠、低成本的对象存储，利用三级加速体系，帮助企业在公有云上快速分析和流转数据，实现企业商业价值。
1.3K10编辑于 2022-04-14 - 来自专栏用户5909132的专栏
【2022分布式存储峰会】腾讯云存储为您带来：云原生时代下的数据湖存储服务
2022年4月14日，由百易传媒 (DOIT) 与厦门大学信息学院联合主办的“2022分布式存储论坛峰会”将在线上举行，旨在推动分布式存储技术发展与应用。 本次峰会设置了分布式存储论坛和混合云数据管理论坛，腾讯云存储高级产品经理——林楠老师将于15:00～15:30出席大会，就“云原生时代下的数据湖存储服务”进行分享和探讨。 数据要素的高效利用正逐步成为企业商业价值实现的一个关键难题。随着数据规模的增加，数据格式的丰富，如何低成本存储海量数据、高效完成大规模数据分析将直接影响到企业降本增效的目标。 腾讯云为企业用户提供了完备、便捷的数据湖存储服务，基于安全、可靠、低成本的对象存储，利用三级加速体系，帮助企业在公有云上快速分析和流转数据，实现企业商业价值。
1.1K30编辑于 2022-04-14 - 来自专栏ApacheHudi
火山引擎数据湖存储内核揭秘
火山引擎LAS 全称（Lakehouse Analysis Service）湖仓一体分析服务，融合了湖与仓的优势，既能够利用湖的优势将所有数据存储到廉价存储中，供机器学习、数据分析等场景使用，又能基于数据湖构建数仓供 本文将从统一的元数据服务和表操作管理服务两大方面，揭秘如何基于Hudi如何构建数据湖存储内核。 LAS介绍 火山引擎LAS 全称（Lakehouse Analysis Service）湖仓一体分析服务，融合了湖与仓的优势，既能够利用湖的优势将所有数据存储到廉价存储中，供机器学习、数据分析等场景使用 基于 LAS 构建企业级实时湖仓，无论离线数据还是实时数据，都可以放到 LAS 流批一体存储中。 MetaServer整体分为两大块——存储层和服务层。存储层用于存储数据湖的所有元数据，服务层用于接受所有元数据的相关增删改查请求。整个服务层是无状态的，因此支持水平扩展。
82410编辑于 2023-12-13 - 来自专栏腾讯云存储
腾讯云对象存储 COS 荣获对象存储领导力奖！！！
在6月10日下午举办的【对象存储论坛】上，腾讯云存储技术总监王淼发表了题为《对象存储内容分发应用：数据处理实践》的精彩演讲。 数据湖作为一个以原始数据格式为存储的系统，为数据分析、数据处理、机器学习等提供了极大的便利，而云的扩展性、高性能、支持地域的广泛性、以及云上所提供的丰富的数据处理和分析能力，都使其成为数据湖理想的载体。 从对象存储数据治理生态全景图中可以看到，除了对象存储标准接口之外，还可以通过消息队列、结构化存储系统、视频流等多种数据源，将数据快速方便地入湖，湖上也提供了丰富的数据处理和分析能力，消除数据孤岛，实现计算存储分离 ，由于部署及架构等原因，在业务实践中也遇到了不少挑战：主要体现在 IO 性能、目录操作以及存算分离需要的大带宽上，针对这些问题，腾讯云对象存储作为数据湖的底座，提供了多级数据加速服务，以满足不同场景的需要 场景化能力 除了提供原子的处理能力、流程化的任务系统，腾讯云对象存储最近还推出了两个面向垂直场景的服务：针对视频监控场景的明瞳智控和针对网盘相册场景的智能媒资托管服务，后续对象存储还会面向数据湖推出更多贴合业务场景的轻应用能力
7.3K30发布于 2021-06-21 - 来自专栏数栈技术分享
袋鼠云数据湖平台「DataLake」，存储全量数据，打造数字底座
根据维基的定义，数据湖是一个以原始格式 (通常是对象块或文件) 存储数的系统或存储库。数据湖通常是所有企业数据的单一存储，用于报告、可视化、高级分析和机器学习等任务。 二、袋鼠云数据湖平台数字经济时代，如何有效利用不同来源、规模巨大的数据，从而加快数据价值化的呈现，把数据用活，成为很多企业的难题。 秉承「让数据创造价值」的使命，袋鼠云进一步夯实企业数字化转型的数据基座。今年 7 月的 2022 年产品发布会上，袋鼠云首发数据湖平台 ——DataLake。 多种底层存储湖仓平台支持 HDFS、S3、OSS、MInio 等多种底层存储，灵活满足客户不同数据存储需求。 快照管理袋鼠云数据湖平台支持快照历史管理，支持多版本间快照变更对比，支持湖表时间旅行，一键回滚到指定数据版本。数据入湖创建入湖任务，选择一张 Hive 进行转表入湖，一键生成湖表信息。
1.8K21编辑于 2022-11-25 - 来自专栏云安全社区
腾讯云COS对象存储攻防
文章首发于：火线Zone云安全社区 01 Bucket 公开访问 腾讯云存储桶的访问权限默认为私有读写权限,且存储桶名称会带上一串时间戳： 账户中的访问策略包括用户组策略、用户策略、存储桶访问控制列表 当腾讯云 COS 收到请求时，首先会确认请求者身份，并验证请求者是否拥有相关权限。验证的过程包括检查用户策略、存储桶访问策略和基于资源的访问控制列表，对请求进行鉴权。 --摘自腾讯云官方文档 上图我们仅配置了存储桶访问权限，于是因为设置了私有读写，无权访问该文件，Message 为 “Access Denied.” 02 Bucket Object 遍历 如果策略中允许了 Object的List操作，则在目标资源范围下，会将所有的Bucket Object显示出来，这时，Key值可以理解为文件的目录，通过拼接可获取对应的文件： 有趣的是，在腾讯云的访问策略体系中，如果存储桶访问权限为私有读写 06 用户身份凭证（签名）泄露 通过 RESTful API 对对象存储（Cloud Object Storage，COS）可以发起 HTTP 匿名请求或 HTTP 签名请求。
21.6K60编辑于 2022-03-17 - 来自专栏深度学习与python
基于对象存储的数据湖构建新思路
它拥有一个文件系统抽象，从而让开发者更加便利的使用其作为存储引擎。但是在近 1-2 年以来，随着混合云 / 多云和边缘端的高速发展，对象存储在很多方面呈现出取代 HDFS 的趋势。 下文将会详细叙述相较于 HDFS，对象存储在数据湖场景下所体现的优势和所面临的挑战，以及解决方案。 所以在对象存储中，元数据不再受限于单个节点的物理资源，对于小文件这种元数据与数据接近的数据湖场景，对象存储更能够平衡元数据和数据的资源配比，有效的利用整个系统的物理资源对小文件进行索引，使得单一的节点也能够容纳海量小文件 商业对象存储的解决方法 当然，针对标准 S3 API 在前 2 小节提到的限制，现有商用对象存储（公有云 / 混合云）比较常见的做法是扩充 S3 的实现，提供 Append 和 CAS 语义来解决。 4总结 在对 Apache Iceberg 进入深入探索后，我们作为对象存储产品的提供方，对数据湖的解决方案有了一些思考。
1.1K20发布于 2021-06-08 - 来自专栏程序萌部落
导出七牛云内对象存储的数据
大概半年多以前，七牛云就失效了，一个是欠费再一个是没有绑定域名，听说是七牛云被举报了然后就必须要实名认证了，而且测试域名的时间也变得只有一个月之久，基本没什么作用了。 如上，我自然是没法再访问对象存储里的数据了，不过比较欣慰的是七牛云并不会删除上传的数据，数据仍然在相关的 bucket 里测试域名被回收了，现在要做的就是将数据导出，然后使用其他方案，例如阿里的oss或者自己服务器上 ，无论如何，将数据从七牛云导出是最重要的，但恶心人的是：七牛云的控制台里没有导出的功能，执行导出要借助额外的工具，全部工具列表如下： https://developer.qiniu.com/kodo/tools 上述操作后，新建的 bucket 中已经具有原空间的全部数据了，并且具有测试域名。 慢慢等待上述过程完成，自此全部数据就从七牛云上弄出来了。全部数据大小在10G内是肯定没问题的，下载可能很慢，等着吧。
2.1K20发布于 2019-12-31 - 来自专栏用户5909132的专栏
腾讯云存储网关提供混合云存储服务，实现数据分层存储！
您可以通过 CSG 使用标准文件共享协议访问位于对象存储 COS 中的数据，无缝接入公有云，实现数据的实时共享和冷热分层。 产 品 优 势 01 无缝衔接 CSG支持 NAS 协议读写腾讯云对象存储COS，用户既可以通过网关读写文件，也可以通过COS的API/SDK读写文件，利用腾讯云丰富生态进行数据分发及智能处理（如鉴黄、 05 海量存储 CSG 能够配合公有云对象存储 COS 提供海量的数据存储，单个文件系统最大支持1PB。 典 型 场 景 01 业务迁移 业务应用直接上云后无法运行，因为您的业务应用采用NFS/SMB协议访问，而对象存储采用HTTP/HTTPS协议访问。 03 数据备份及归档 数据上传到公有云对象存储 COS 后，COS 会以多种备份策略对数据进行存储以保持其持久性。同时，您可通过版本控制等功能实现多版本数据的备份及归档帮您省去灾备中心重资产投入。
28K30发布于 2021-08-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号