- 综合排序
- 最热优先
- 最新优先
- 来自专栏Spark学习技巧
初识PB级数据分析利器Prestodb
初始PB级数据分析利器Prestodb 什么是prestodb prestodb整体架构 物理执行计划 什么是prestodb prestodb,是facebook开源的一款sql on hadoop系统 上图所示有三个大的方框，每个方框表示一个presto执行过程中的一个stage（类似spark中的stage，以shuffle操作作为stage的边界），先看标号为3的方框，在这个方框内有三个operator 至此，方框3(stage 3)中的操作完成。
2.9K50发布于 2018-01-31 基于 StarRocks + Iceberg，TRM Labs 构建 PB 级数据分析平台实践
作者：Vijay Shekhawat：TRM Labs 数据平台团队核心成员，精通实时流处理、数据湖仓架构及构建安全、高吞吐的数据分析管道，在推动 PB 级数据处理能力方面发挥了关键作用。 作为一家致力于打击加密金融犯罪的技术公司，TRM Labs 为全球金融机构、加密企业与政府部门提供链上数据分析与情报支持。 其平台需处理来自 30 多条区块链的 PB 级数据，并以亚秒级响应支撑每分钟超过 500 次的查询请求。 可扩展性与性能：最大的面向客户的查询负载超过 115 TB，且每月增长 2～3%。相关查询通常包含复杂的多层级 Join，以及基于时间和数组的过滤条件。 3.3.2 复杂聚合的实验探索（图 3，在复杂聚合查询场景中，Trino 与 StarRocks 在不同集群配置下的基准测试对比结果。）
70910编辑于 2025-06-02- 来自专栏腾讯云大数据
PB 级数据的云端迁移战事
如果单纯从字面上，普通人可能无法理解要把 PB 级的数据迁移到一朵云上，难度有多大。 “这个迁移和简单的复制完全不一样，即便是拷贝，把1PB 的数据复制过来，也需要很长时间。” 少波说的这个正是一个月前他和另外3位同事，一起经历的一场云端迁移战事。 “在这过程中，搜狐畅游大数据团队除了介绍业务特点，业务技术架构等情况，结合多年积累 Impala 在游戏场景数据分析的经验，提出优化假设。 当然，最终没有发生任何问题，PB 级的数据在7月中旬正式迁移到腾讯云。 实时业务的稳定性也得到了较大提升，对于作业的异常情况，都可以秒级恢复正常运行，且告警通知会在3s内直达用户。
2K30发布于 2021-09-18 揭秘腾讯云TCHouse-D存储引擎：如何实现亚秒级PB级数据分析？
在数据爆炸式增长的时代，企业对于实时数据分析的需求日益迫切。 为保证数据可靠性与高可用，每个Tablet会存储多个副本（默认3副本），副本分布在不同BE节点上，通过一致性协议保证数据安全。 默认使用LZ4压缩算法，可将数据压缩至原始大小的1/5~1/10，让TCHouse-D在相同硬件条件下存储容量提升5-10倍，计算时的数据加载速度提升3-5倍。 从分层存储架构到列式存储优化，从多级索引机制到智能编码压缩，每一个设计细节都旨在为企业提供极致的数据分析体验。 在2026年AI算力需求激增、云服务价格普遍上涨的背景下，TCHouse-D以弹性伸缩、按需付费的模式，为企业提供了高性价比的实时数据分析解决方案。
20210编辑于 2026-03-20- 来自专栏ApacheHudi
Uber基于Apache Hudi构建PB级数据湖实践
什么是Apache Hudi Apache Hudi是一个存储抽象框架，可帮助组织构建和管理PB级数据湖，通过使用upsert和增量拉取等原语，Hudi将流式处理带到了类似批处理的大数据中。 3. 公司的各个团队都依靠快速、准确的数据分析来提供高质量的用户体验，为满足这些要求，我们当前的解决方案无法扩展进行数据湖上的增量处理。 图3. Apache Hudi场景包括数据分析和基础架构运行状况监视 Hudi通过对数据集强制schema，帮助用户构建更强大、更新鲜的数据湖，从而提供高质量的见解。
1.4K20发布于 2021-04-13 - 来自专栏腾讯云数据库(TencentDB)
亿级客户和PB级数据规模的金融级数据库实战历程
3. 图 微众银行基于TDSQL的同城多活架构 我们采用同城3副本+跨城2副本的3+2 noshard部署模式。 同城3副本为1主2备，分别部署同城的3个IDC中，副本之间采用TDSQL强一致同步，保证同城3 IDC之间的RPO=0，RTO秒级恢复。 基于以上架构，我们在同城可以做到应用多活，即联机的业务流量，可以同时从3个IDC接入，任何一个IDC故障不可用，都可以保证数据0丢失，同时在秒级内可以恢复数据库服务。 当前微众银行的TDSQL SET个数已达350+（生产+容灾），数据库实例个数已达到1700+，整体数据规模已达到PB级，承载了微众银行数百个核心系统。
2.6K20发布于 2019-08-17 - 来自专栏upuptop的专栏
PB级数据实现秒级查询ES的安装
initial recovery after a full cluster restart until N nodes are started: # #gateway.recover_after_nodes: 3 65536] [2]: max number of threads [1024] for user [shaofei] is too low, increase to at least [4096] [3] * soft nproc 10240 root soft nproc unlimited # 重新登陆用户即可 对于第【3】个问题：
77520发布于 2019-09-18 - 来自专栏Spark学习技巧
PB级数据实时查询，滴滴Elasticsearch多集群架构实践
滴滴 Elasticsearch 简介 滴滴 2016 年初开始构建 Elasticsearch 平台，如今已经发展到超过 3500+Elasticsearch 实例，超过 5PB 的数据存储，峰值写入 Elasticsearch 平台规模的快速发展，Elasticsearch 集群越来越大，最大的时候，是由几百台物理机组成集群，当时集群共 3000+ 的索引，超过了 50000 个 Shard，集群总容量达到了 PB 这样一个索引 Query 可能查询的是多个索引，比如有如下 3 个索引： index_a index_b index_c 使用 index* 查询的时候，可以同时查询到 index_a、index_b、
1.3K30发布于 2019-06-20 - 来自专栏数据科学和人工智能
100PB级数据分钟级延迟：Uber大数据平台（下）
阅读本文前请先阅读上一篇文章：100+PB数据分钟级延迟：Uber大数据平台介绍（上）。 第3代：为长期计划重建我们的大数据平台 到2017年初，我们的大数据平台被整个公司的工程和运营团队使用，使他们能够在同一个地方访问新数据和历史数据。 我们的计算集群中有超过100PB的数据和100000个vcores。每天支持100,000个Presto查询， 10,000个Spark作业，以及 20,000个Hive查询。 我们的研究揭示了四个主要的痛点：1）突破HDFS水平扩展限制；2）加快Hadoop数据处理速度；3）在Hadoop和Parquet中支持数据更新和删除；4）实现更快的ETL和建模。 增量数据建模 考虑到需要从上游数据存储中提取大量数据进Hadoop（截至2017年超过3,000个原始Hadoop表），我们还构建了一个通用提取平台。
1.6K20编辑于 2022-03-30 【重磅发布】PB级数据秒级“拿捏”，数仓建模平台直开挂！
通过Kylin的预计算技术，实现PB级数据的亚秒级查询响应，支持高并发多维分析场景。 AllData商业版将其集成至数据服务层，支持对PB级数据集的亚秒级响应。 混合存储引擎 Kylin采用列式存储与预计算结合的混合架构，兼顾查询性能与存储效率。 3、数仓建模平台-新建项目 支持一键新建项目，可自定义配置数据模型与指标，快速搭建个性化数据分析环境。 7、数据资产-数据源-新增数据源 8、数据资产-模型列表-新建模型 可自定义维度指标，快速构建适配业务场景的数据分析模型。 21、用户组-新建用户组 22、仪表盘 提供可视化图表，支持实时监控与交互式数据分析。
34921编辑于 2025-10-13- 来自专栏腾讯云开发者社区推荐
PB级数据实时分析，ClickHouse到底有多彪悍？
视频内容 一、 QQ音乐PB级数据实时分析带来的挑战 腾讯公司内部有很多业务使用 ClickHouse，比较典型的就是QQ音乐。 数据分析需求来源于产品、运营、市场等多个方面，基于传统的数仓分析门槛高，产品运营市场人员无法进行自主分析，需要把任务提交给数据开发人员做排期。 所以QQ音乐最终选择了ClickHouse集群，集群的现状是近万核的规模、PB 级的存储，十万亿级别的记录量，每天过千亿级的数据入库，包括实时流水、中间表的计算等等。 在传统的数据分析中，会经常遇到广告投放和用户画像的场景，在这些场景中，我们通常要根据一定条件找出用户的标签或者更新一些投放标签。 整个使用门槛非常低，支持 SQL ，虽然它的 SQL 有些特别，但是很容易理解，数据分析人员或者是没有特别多的开发背景，学习成本很低。
8.7K265228发布于 2020-10-21 - 来自专栏萝卜要加油
Uber 如何扩展数据复制能力以实现每天 PB 级数据迁移
然而，随着 Uber 数据湖规模超过 350 PB，Distcp 的局限性逐渐显现。 Map 2 处理 File 3 的一个块和 File 1 的一个块。 Map 3 处理 File 2 的一个块和 File 3 的一个块。 拷贝映射器任务随后将这些块从源目录复制到目标目录。 图 3：HiveSync 架构：使用 Distcp 的数据复制工作流。 图 3 展示了 HiveSync 服务器如何监听来自源 Hive 集群的拷贝请求。 HiveSync 的扩展性问题：临界点 到 2022 年第三季度，HiveSync 面临重大的扩展性挑战，因为每日数据复制量在仅一个季度内从 250 TB 激增至 1 PB。 截至目前，我们已成功将超过 306 PB 的数据迁移到云端。 图 17：通过 HiveSync 服务从本地迁移到云端的数据量。
11210编辑于 2026-02-04 - 来自专栏【腾讯云开发者】
PB 级数据秒级分析：腾讯云原生湖仓DLC 架构揭秘
导读｜过去几年，数据湖能力已经在腾讯内部包括微信视频号、小程序等多个业务大规模落地，数据规模达到 PB至 EB 级别。在此基础上，腾讯自研业务也启动了云原生湖仓能力建设。云原生湖仓架构最大的挑战什么？ LC 实现 PB 级数据秒级分析 回到最开始的问题“高性能”，PB 级数据秒级分析该怎么去做，从三个大维度展开。 在一些情况下，访问 Cos 的性能有 3—10 倍的提升。 3）多维 Filter 过滤 继续说性能提升，还是 IO 优化，技术也是比较成熟的，只是还不怎么普及。 但是在 PB 级数据秒级分析的能力下，这些几乎都是不必要的。 层层建模的问题：第一是模式是固定的，不够敏捷。
1.6K20编辑于 2023-01-04 - 来自专栏云计算D1net
将PB级数据传输到云端的四个步骤
如今，各种组织正在越来越多地使用公共云基础设施，但是人们发现将数百TB或PB数据向云端的迁移比想像得更复杂，更具破坏性，并且不具备灵活性。 (2)自动化操作 具有内置自动化功能的数据管理软件基于IT设置和控制的策略，即使是单个管理员也可以在全球组织中管理多PB级混合云基础架构。 (3)保持灵活性 所有关键的公共云提供商(Amazon，Google，Microsoft和Rackspace)都使用对象存储平台来长期保留和管理最终用户的数据。 虽然对象是其默认设置，但却有足够的差异，采用专有技术将一个运营商，甚至PB级数据的一部分从一个提供商转移到另一个供应商可能是可以忍受的。 而治理，组织，分析与PB级数据相关的元数据在几年前是不可想象的。
1.4K70发布于 2018-03-28 - 来自专栏深度学习与python
Adobe 将 PB 级数据迁移到 Iceberg 的实践与经验教训
在这篇博文中，我们将分享 Adobe 将超过 1PB 的数据集迁移到 Adobe 体验平台数据湖（Datalake）上的 Iceberg 的故事，具体介绍我们面临的挑战以及从中吸取的经验教训。 图 3：迁移到 Apache Iceberg 的生产数据集的大小和数量 2迁移动机 Iceberg 迁移是将数据从一种表格式移动到 Iceberg，或将 Iceberg 作为一种表格式引入数据的过程。 3客户分类 当客户端与数据湖交互时，它们会根据其唯一的 GUID 和 / 或名称向数据集读写数据。数据集的元数据存储在目录中，用于在 Adobe 体验平台上配置分区行为、模式信息、策略实施和其他行为。
1.1K20编辑于 2023-04-01 - 来自专栏腾讯云中间件的专栏
揭秘Kafka的硬盘设计方案，快速完成PB级数据扩容需求！
3. 提高硬盘IO能力 一般使用以下指标衡量硬盘的性能： IOPS：每秒读/写次数，单位为次（计数）。存储设备的底层驱动类型决定了不同的 IOPS。 吞吐量：每秒的读写数据量，单位为MB/s。 以当前腾讯云上的硬盘价格为例，SSD价格是高性能云硬盘的3倍。 所以，当集群规模持续扩大时，该方案并不是一个长久的选择。 这9个分区会平均分布在节点1，2，3上。假设节点1上分配了0、1、2三个分区。那么Kafka会将这三个分区的数据目录分别放在/data、/data1、/data2三个目录下。 从理论上讲，三块硬盘的并行操作使同一时间内硬盘读写速度提升了3倍。但由于总线带宽等多种因素的影响，实际的提升速率肯定会低于理论值。但是，大量数据并行传输与串行传输比较，提速效果显著显然毋庸置疑。
1.5K10发布于 2021-03-24 - 来自专栏学谦数据运营
Copilot in Excel with Python高级数据分析
~ Copilot in Excel with Python Advanced Analysis Excel中的Python高级数据分析终于可用了。 Python进行深度高级分析： copilot会直接根据数据调用Python创建代码并直接生成图像： 结果展示： 当我用中文要求它画出柱状图时，它明确表示，如果在copilot中使用Python功能进行高级数据分析
32810编辑于 2024-09-30 - 来自专栏一臻数据
MiniMax基于 Doris 的PB级数据保卫战
今天我们要聊的故事主角，是国内大模型独角兽 MiniMax，且看它是如何基于 Apache Doris 秒级查询PB级数据。 MiniMax为什么选了Doris？ 先把时间拨回 MiniMax 早期。 MiniMax 意识到，Loki 已经不再是那个小甜甜了，他们需要一个能扛得住 PB 级数据、查得快、还得便宜的牛夫人。 摆在 MiniMax 面前的选项其实不多。 同样的 PB 级数据，存在 Doris 里占用的磁盘空间只有原来的几分之一。 再加上冷热数据分层技术，把 7 天前的老日志自动扔到廉价的对象存储（S3）上，这成本一下就打下来了 70% 以上。 结语 现在的 MiniMax 内部，PB 级日志都跑在 Apache Doris 上。 过去查询转圈圈的日子结束了，整体可用性达到了 99.9%。 Apache Doris 从一个单纯的 OLAP 数据库，进化到如今能吞下 PB 级日志的统一存储平台，正是这种技术融合的缩影。
23910编辑于 2025-12-24 TCHouse-X的BSP执行框架：解锁PB级数据智能分析的新钥匙
其核心思想是将计算过程划分为一系列超步（supersteps），每个超步内并行执行，超步之间进行全局同步，从而有效避免单节点内存不足的问题，确保PB级数据查询的稳定与高效。 TCHouse-X的BSP框架结合向量化引擎，能够对PB级湖数据执行高效扫描与分析，某游戏公司将20PB行为日志存于COS，通过TCHouse-X直接查询，每月节省Spark集群费用42万元。 极致性能，成本更优：基于MPP+BSP混合执行框架、向量化执行引擎与自适应优化器，TCHouse-X实现了PB级数据的高性能处理。 官方测试显示，其TPC-DS 10TB场景耗时仅为同类开源方案的1/3，离线批处理综合性价比提升超10倍。 它不仅解决了PB级数据处理的性能瓶颈，更通过智能弹性与统一平台，大幅降低了企业的运维成本与技术复杂度。
14710编辑于 2026-04-08- 来自专栏PPV课数据科学社区
如何利用 Excel 进行高级数据分析？
3）选择【分析工具库】，点击【确定】： ? 4）安装完后，就可以【数据】板块看到【数据分析】功能，如下所示： ? 安装完后，首先来了解一下回归分析的内容。 3. 使用Excel的数据分析功能 1）点击【数据分析】，在弹出的选择框中选择【回归】，然后点击【确定】： ? 3）以下内容是残差和标准残差： ? 4）以下是残差图： ? 1、回复“数据分析师”查看数据分析师系列文章 2、回复“案例”查看大数据案例系列文章 3、回复“征信”查看相关征信的系列文章 4、回复“可视化”查看可视化专题系列文章 5、回复“SPPS”查看SPSS系列文章 6、回复“答案”查看hadoop面试题题目及答案 7、回复“爱情”查看大数据与爱情的故事 8、回复“笑话”查看大数据系列笑话 9、回复“大数据1、大数据2、大数据3、大数据4”查看大数据历史机遇连载
3.2K41发布于 2018-04-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号