- 综合排序
- 最热优先
- 最新优先
- 来自专栏Spark学习技巧
初识PB级数据分析利器Prestodb
初始PB级数据分析利器Prestodb 什么是prestodb prestodb整体架构 物理执行计划 什么是prestodb prestodb,是facebook开源的一款sql on hadoop系统
2.9K50发布于 2018-01-31 基于 StarRocks + Iceberg，TRM Labs 构建 PB 级数据分析平台实践
作者：Vijay Shekhawat：TRM Labs 数据平台团队核心成员，精通实时流处理、数据湖仓架构及构建安全、高吞吐的数据分析管道，在推动 PB 级数据处理能力方面发挥了关键作用。 作为一家致力于打击加密金融犯罪的技术公司，TRM Labs 为全球金融机构、加密企业与政府部门提供链上数据分析与情报支持。 其平台需处理来自 30 多条区块链的 PB 级数据，并以亚秒级响应支撑每分钟超过 500 次的查询请求。 基于使用 BigQuery 和 Postgres 的经验，总结出以下几点关键观察：查询时尽量减少数据读取量至关重要，可通过数据压缩、聚簇与分区优化扫描效率；传统的 B-tree 索引在 PB 级别数据下效率低下
67710编辑于 2025-06-02- 来自专栏腾讯云大数据
PB 级数据的云端迁移战事
如果单纯从字面上，普通人可能无法理解要把 PB 级的数据迁移到一朵云上，难度有多大。 “这个迁移和简单的复制完全不一样，即便是拷贝，把1PB 的数据复制过来，也需要很长时间。” 但随着游戏业务迁移上云和数据规模、维度的快速增长，数据分析任务日渐繁重和多态化，对数据处理的时效性和稳定性要求越来越高，搜狐畅游亟需通过更灵活稳定的大数据基础能力建设，提升大数据的分析、管理和运维，为游戏稳定流畅运行 “在这过程中，搜狐畅游大数据团队除了介绍业务特点，业务技术架构等情况，结合多年积累 Impala 在游戏场景数据分析的经验，提出优化假设。 当然，最终没有发生任何问题，PB 级的数据在7月中旬正式迁移到腾讯云。
2K30发布于 2021-09-18 揭秘腾讯云TCHouse-D存储引擎：如何实现亚秒级PB级数据分析？
在数据爆炸式增长的时代，企业对于实时数据分析的需求日益迫切。 从分层存储架构到列式存储优化，从多级索引机制到智能编码压缩，每一个设计细节都旨在为企业提供极致的数据分析体验。 在2026年AI算力需求激增、云服务价格普遍上涨的背景下，TCHouse-D以弹性伸缩、按需付费的模式，为企业提供了高性价比的实时数据分析解决方案。
19010编辑于 2026-03-20- 来自专栏ApacheHudi
Uber基于Apache Hudi构建PB级数据湖实践
什么是Apache Hudi Apache Hudi是一个存储抽象框架，可帮助组织构建和管理PB级数据湖，通过使用upsert和增量拉取等原语，Hudi将流式处理带到了类似批处理的大数据中。 公司的各个团队都依靠快速、准确的数据分析来提供高质量的用户体验，为满足这些要求，我们当前的解决方案无法扩展进行数据湖上的增量处理。 Uber的Apache Hudi团队开发了一种数据压缩策略，用于读时合并表，以便频繁将最近的分区转化为列式存储，从而减少了查询端的计算成本 有了Hudi，Uber每天向超过150PB数据湖中插入超过5,000 Apache Hudi场景包括数据分析和基础架构运行状况监视 Hudi通过对数据集强制schema，帮助用户构建更强大、更新鲜的数据湖，从而提供高质量的见解。
1.4K20发布于 2021-04-13 - 来自专栏腾讯云数据库(TencentDB)
亿级客户和PB级数据规模的金融级数据库实战历程
当前微众银行的TDSQL SET个数已达350+（生产+容灾），数据库实例个数已达到1700+，整体数据规模已达到PB级，承载了微众银行数百个核心系统。
2.6K20发布于 2019-08-17 - 来自专栏upuptop的专栏
PB级数据实现秒级查询ES的安装
什么是ES？ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。ElasticSearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 本教程使用软件为6.4.3版本 下载 ElasticSearch： https://www.elastic.co/cn/downloads/elas
77020发布于 2019-09-18 - 来自专栏Spark学习技巧
PB级数据实时查询，滴滴Elasticsearch多集群架构实践
滴滴 Elasticsearch 简介 滴滴 2016 年初开始构建 Elasticsearch 平台，如今已经发展到超过 3500+Elasticsearch 实例，超过 5PB 的数据存储，峰值写入 Elasticsearch 平台规模的快速发展，Elasticsearch 集群越来越大，最大的时候，是由几百台物理机组成集群，当时集群共 3000+ 的索引，超过了 50000 个 Shard，集群总容量达到了 PB
1.3K30发布于 2019-06-20 【重磅发布】PB级数据秒级“拿捏”，数仓建模平台直开挂！
通过Kylin的预计算技术，实现PB级数据的亚秒级查询响应，支持高并发多维分析场景。 AllData商业版将其集成至数据服务层，支持对PB级数据集的亚秒级响应。 混合存储引擎 Kylin采用列式存储与预计算结合的混合架构，兼顾查询性能与存储效率。 3、数仓建模平台-新建项目 支持一键新建项目，可自定义配置数据模型与指标，快速搭建个性化数据分析环境。 7、数据资产-数据源-新增数据源 8、数据资产-模型列表-新建模型 可自定义维度指标，快速构建适配业务场景的数据分析模型。 21、用户组-新建用户组 22、仪表盘 提供可视化图表，支持实时监控与交互式数据分析。
34321编辑于 2025-10-13- 来自专栏数据科学和人工智能
100PB级数据分钟级延迟：Uber大数据平台（下）
阅读本文前请先阅读上一篇文章：100+PB数据分钟级延迟：Uber大数据平台介绍（上）。 我们的计算集群中有超过100PB的数据和100000个vcores。每天支持100,000个Presto查询， 10,000个Spark作业，以及 20,000个Hive查询。
1.6K20编辑于 2022-03-30 - 来自专栏腾讯云开发者社区推荐
PB级数据实时分析，ClickHouse到底有多彪悍？
视频内容 一、 QQ音乐PB级数据实时分析带来的挑战 腾讯公司内部有很多业务使用 ClickHouse，比较典型的就是QQ音乐。 数据分析需求来源于产品、运营、市场等多个方面，基于传统的数仓分析门槛高，产品运营市场人员无法进行自主分析，需要把任务提交给数据开发人员做排期。 所以QQ音乐最终选择了ClickHouse集群，集群的现状是近万核的规模、PB 级的存储，十万亿级别的记录量，每天过千亿级的数据入库，包括实时流水、中间表的计算等等。 在传统的数据分析中，会经常遇到广告投放和用户画像的场景，在这些场景中，我们通常要根据一定条件找出用户的标签或者更新一些投放标签。 整个使用门槛非常低，支持 SQL ，虽然它的 SQL 有些特别，但是很容易理解，数据分析人员或者是没有特别多的开发背景，学习成本很低。
8.7K265228发布于 2020-10-21 - 来自专栏萝卜要加油
Uber 如何扩展数据复制能力以实现每天 PB 级数据迁移
然而，随着 Uber 数据湖规模超过 350 PB，Distcp 的局限性逐渐显现。 HiveSync 的扩展性问题：临界点 到 2022 年第三季度，HiveSync 面临重大的扩展性挑战，因为每日数据复制量在仅一个季度内从 250 TB 激增至 1 PB。 截至目前，我们已成功将超过 306 PB 的数据迁移到云端。 图 17：通过 HiveSync 服务从本地迁移到云端的数据量。
10810编辑于 2026-02-04 - 来自专栏深度学习与python
Adobe 将 PB 级数据迁移到 Iceberg 的实践与经验教训
在这篇博文中，我们将分享 Adobe 将超过 1PB 的数据集迁移到 Adobe 体验平台数据湖（Datalake）上的 Iceberg 的故事，具体介绍我们面临的挑战以及从中吸取的经验教训。
1.1K20编辑于 2023-04-01 - 来自专栏腾讯云中间件的专栏
揭秘Kafka的硬盘设计方案，快速完成PB级数据扩容需求！
导语：疫情期间，腾讯医疗为全国人民提供了及时精准的疫情信息服务。腾讯云kafka作为腾讯医疗大数据架构中的关键组件。在面对业务短时间内成倍的数据存储需求的情况下，如何快速响应、快速扩容以支持业务的稳定运行的呢 本文将从Kafka集群底层物理机层面硬盘的设计方案，来讲解面对不同的业务需求场景，如何选择好合适的磁盘方案。（编辑：中间件小Q妹）
1.5K10发布于 2021-03-24 - 来自专栏云计算D1net
将PB级数据传输到云端的四个步骤
如今，各种组织正在越来越多地使用公共云基础设施，但是人们发现将数百TB或PB数据向云端的迁移比想像得更复杂，更具破坏性，并且不具备灵活性。 存储行业专家阐述如何将PB级规模的数据传输到云环境的四个步骤。 (1)将数据漂移和转移到云原生存储 根据定义，还没有在云端的数据存储在具有特定数据访问协议的孤岛中。将这样的数据转移到公共云上非常复杂。 (2)自动化操作 具有内置自动化功能的数据管理软件基于IT设置和控制的策略，即使是单个管理员也可以在全球组织中管理多PB级混合云基础架构。 虽然对象是其默认设置，但却有足够的差异，采用专有技术将一个运营商，甚至PB级数据的一部分从一个提供商转移到另一个供应商可能是可以忍受的。 而治理，组织，分析与PB级数据相关的元数据在几年前是不可想象的。
1.4K70发布于 2018-03-28 - 来自专栏【腾讯云开发者】
PB 级数据秒级分析：腾讯云原生湖仓DLC 架构揭秘
导读｜过去几年，数据湖能力已经在腾讯内部包括微信视频号、小程序等多个业务大规模落地，数据规模达到 PB至 EB 级别。在此基础上，腾讯自研业务也启动了云原生湖仓能力建设。云原生湖仓架构最大的挑战什么？ LC 实现 PB 级数据秒级分析 回到最开始的问题“高性能”，PB 级数据秒级分析该怎么去做，从三个大维度展开。 但是在 PB 级数据秒级分析的能力下，这些几乎都是不必要的。 层层建模的问题：第一是模式是固定的，不够敏捷。
1.6K20编辑于 2023-01-04 - 来自专栏学谦数据运营
Copilot in Excel with Python高级数据分析
~ Copilot in Excel with Python Advanced Analysis Excel中的Python高级数据分析终于可用了。 Python进行深度高级分析： copilot会直接根据数据调用Python创建代码并直接生成图像： 结果展示： 当我用中文要求它画出柱状图时，它明确表示，如果在copilot中使用Python功能进行高级数据分析
32210编辑于 2024-09-30 - 来自专栏一臻数据
MiniMax基于 Doris 的PB级数据保卫战
今天我们要聊的故事主角，是国内大模型独角兽 MiniMax，且看它是如何基于 Apache Doris 秒级查询PB级数据。 MiniMax为什么选了Doris？ 先把时间拨回 MiniMax 早期。 MiniMax 意识到，Loki 已经不再是那个小甜甜了，他们需要一个能扛得住 PB 级数据、查得快、还得便宜的牛夫人。 摆在 MiniMax 面前的选项其实不多。 同样的 PB 级数据，存在 Doris 里占用的磁盘空间只有原来的几分之一。 再加上冷热数据分层技术，把 7 天前的老日志自动扔到廉价的对象存储（S3）上，这成本一下就打下来了 70% 以上。 结语 现在的 MiniMax 内部，PB 级日志都跑在 Apache Doris 上。 过去查询转圈圈的日子结束了，整体可用性达到了 99.9%。 Apache Doris 从一个单纯的 OLAP 数据库，进化到如今能吞下 PB 级日志的统一存储平台，正是这种技术融合的缩影。
22410编辑于 2025-12-24 - 来自专栏PPV课数据科学社区
如何利用 Excel 进行高级数据分析？
高级的数据分析会涉及回归分析、方差分析和T检验等方法，不要看这些内容貌似跟日常工作毫无关系，其实往高处走，MBA的课程也是包含这些内容的，所以早学晚学都得学，干脆就提前了解吧，请查看以下内容。 在使用之前，首先得安装Excel的数据分析功能，默认情况下，Excel是没有安装这个扩展功能的，安装如下所示： 1）鼠标悬浮在Office按钮上，然后点击【Excel选项】： ? 4）安装完后，就可以【数据】板块看到【数据分析】功能，如下所示： ? 安装完后，首先来了解一下回归分析的内容。 回归分析 在详细进行回归分析之前，首先要理解什么叫回归？ 使用Excel的数据分析功能 1）点击【数据分析】，在弹出的选择框中选择【回归】，然后点击【确定】： ? 1、回复“数据分析师”查看数据分析师系列文章 2、回复“案例”查看大数据案例系列文章 3、回复“征信”查看相关征信的系列文章 4、回复“可视化”查看可视化专题系列文章 5、回复“SPPS”查看SPSS系列文章
3.2K41发布于 2018-04-23 - 来自专栏CDA数据分析师
如何利用 Excel 进行高级数据分析？
高级的数据分析会涉及回归分析、方差分析和T检验等方法，不要看这些内容貌似跟日常工作毫无关系，其实往高处走，MBA的课程也是包含这些内容的，所以早学晚学都得学，干脆就提前了解吧，请查看以下内容。 在使用之前，首先得安装Excel的数据分析功能，默认情况下，Excel是没有安装这个扩展功能的，安装如下所示： 1）鼠标悬浮在Office按钮上，然后点击【Excel选项】： ? 4）安装完后，就可以【数据】板块看到【数据分析】功能，如下所示： ? 安装完后，首先来了解一下回归分析的内容。 回归分析 在详细进行回归分析之前，首先要理解什么叫回归？ 使用Excel的数据分析功能 1）点击【数据分析】，在弹出的选择框中选择【回归】，然后点击【确定】： ?
2.1K80发布于 2018-02-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号