- 综合排序
- 最热优先
- 最新优先
- 来自专栏Spark学习技巧
初识PB级数据分析利器Prestodb
初始PB级数据分析利器Prestodb 什么是prestodb prestodb整体架构 物理执行计划 什么是prestodb prestodb,是facebook开源的一款sql on hadoop系统 node2上得数据分片是： ? 其中在node1，有三个分组，分别是high,mid,low，在node2右两个分组，分别是high和low。 接下来到了stage2 ，在这个stage中，首先要进行的上一个stage最后阶段输出数据的拉取(类似spark中得shuffle read)，在presto中对应的操作符是ExchangeOperator
2.9K50发布于 2018-01-31 基于 StarRocks + Iceberg，TRM Labs 构建 PB 级数据分析平台实践
作者：Vijay Shekhawat：TRM Labs 数据平台团队核心成员，精通实时流处理、数据湖仓架构及构建安全、高吞吐的数据分析管道，在推动 PB 级数据处理能力方面发挥了关键作用。 作为一家致力于打击加密金融犯罪的技术公司，TRM Labs 为全球金融机构、加密企业与政府部门提供链上数据分析与情报支持。 其平台需处理来自 30 多条区块链的 PB 级数据，并以亚秒级响应支撑每分钟超过 500 次的查询请求。 可扩展性与性能：最大的面向客户的查询负载超过 115 TB，且每月增长 2～3%。相关查询通常包含复杂的多层级 Join，以及基于时间和数组的过滤条件。 基于使用 BigQuery 和 Postgres 的经验，总结出以下几点关键观察：查询时尽量减少数据读取量至关重要，可通过数据压缩、聚簇与分区优化扫描效率；传统的 B-tree 索引在 PB 级别数据下效率低下
70910编辑于 2025-06-02- 来自专栏腾讯云大数据
PB 级数据的云端迁移战事
如果单纯从字面上，普通人可能无法理解要把 PB 级的数据迁移到一朵云上，难度有多大。 “这个迁移和简单的复制完全不一样，即便是拷贝，把1PB 的数据复制过来，也需要很长时间。” 但随着游戏业务迁移上云和数据规模、维度的快速增长，数据分析任务日渐繁重和多态化，对数据处理的时效性和稳定性要求越来越高，搜狐畅游亟需通过更灵活稳定的大数据基础能力建设，提升大数据的分析、管理和运维，为游戏稳定流畅运行 “在这过程中，搜狐畅游大数据团队除了介绍业务特点，业务技术架构等情况，结合多年积累 Impala 在游戏场景数据分析的经验，提出优化假设。 当然，最终没有发生任何问题，PB 级的数据在7月中旬正式迁移到腾讯云。 除了业务使用部门的认可，搜狐畅游大数据团队自身也切实感受到了作业任务速度与运维效率的提升： 每日的 BI 离线统计分析从整体的2小时减少到20分钟以内，任务执行效率提升6倍。
2K30发布于 2021-09-18 揭秘腾讯云TCHouse-D存储引擎：如何实现亚秒级PB级数据分析？
在数据爆炸式增长的时代，企业对于实时数据分析的需求日益迫切。 从分层存储架构到列式存储优化，从多级索引机制到智能编码压缩，每一个设计细节都旨在为企业提供极致的数据分析体验。 在2026年AI算力需求激增、云服务价格普遍上涨的背景下，TCHouse-D以弹性伸缩、按需付费的模式，为企业提供了高性价比的实时数据分析解决方案。
20210编辑于 2026-03-20- 来自专栏ApacheHudi
Uber基于Apache Hudi构建PB级数据湖实践
2. 什么是Apache Hudi Apache Hudi是一个存储抽象框架，可帮助组织构建和管理PB级数据湖，通过使用upsert和增量拉取等原语，Hudi将流式处理带到了类似批处理的大数据中。 公司的各个团队都依靠快速、准确的数据分析来提供高质量的用户体验，为满足这些要求，我们当前的解决方案无法扩展进行数据湖上的增量处理。 图2. Hudi的写时复制功能使我们能够执行文件级更新，从而大大提高数据的新鲜度 4. Uber的Apache Hudi团队开发了一种数据压缩策略，用于读时合并表，以便频繁将最近的分区转化为列式存储，从而减少了查询端的计算成本 有了Hudi，Uber每天向超过150PB数据湖中插入超过5,000 Apache Hudi场景包括数据分析和基础架构运行状况监视 Hudi通过对数据集强制schema，帮助用户构建更强大、更新鲜的数据湖，从而提供高质量的见解。
1.4K20发布于 2021-04-13 - 来自专栏腾讯云数据库(TencentDB)
亿级客户和PB级数据规模的金融级数据库实战历程
2. TDSQL noshard 与 shard 模式 TDSQL提供了noshard与shard两种使用模式，如下图所示。 ? 图 微众银行基于TDSQL的同城多活架构 我们采用同城3副本+跨城2副本的3+2 noshard部署模式。 跨城的2副本通过同城的一个slave进行异步复制，实现跨城的数据容灾。 当主节点发生故障时，scheduler模块对对比watch节点和其他2个强同步备机的数据一致性，如果发现watch节点的数据跟另外2个idc数据一样新（这是常态，因为同IDC一般都比跨IDC快），则优先会将这个 当前微众银行的TDSQL SET个数已达350+（生产+容灾），数据库实例个数已达到1700+，整体数据规模已达到PB级，承载了微众银行数百个核心系统。
2.6K20发布于 2019-08-17 - 来自专栏upuptop的专栏
PB级数据实现秒级查询ES的安装
default list of hosts is ["127.0.0.1", "[::1]"] # #discovery.zen.ping.unicast.hosts: ["host1", "host2" Prevent the "split brain" by configuring the majority of nodes (total number of master-eligible nodes / 2 1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536] [2] # End of file * soft nofile 65536 * hard nofile 131072 * soft nproc 2048 * hard nproc 4096 对于第【2】
77520发布于 2019-09-18 - 来自专栏Spark学习技巧
PB级数据实时查询，滴滴Elasticsearch多集群架构实践
滴滴 Elasticsearch 简介 滴滴 2016 年初开始构建 Elasticsearch 平台，如今已经发展到超过 3500+Elasticsearch 实例，超过 5PB 的数据存储，峰值写入 Elasticsearch 平台规模的快速发展，Elasticsearch 集群越来越大，最大的时候，是由几百台物理机组成集群，当时集群共 3000+ 的索引，超过了 50000 个 Shard，集群总容量达到了 PB Elasticsearch 看起来是 P2P 架构，但实际上，仍然是中心化的分布式架构。 整个集群只有一个 Active Master。Master 负责整个集群的元数据管理。 在一些复杂的模糊索引匹配 Shard 的逻辑中，以及给每个 Shard 发送 Query 请求时，会出现较高的耗时，可能有超过 1-2s 的 Case，这会影响到该 Netty Worker 上的其他的请求
1.3K30发布于 2019-06-20 - 来自专栏数据科学和人工智能
100PB级数据分钟级延迟：Uber大数据平台（下）
阅读本文前请先阅读上一篇文章：100+PB数据分钟级延迟：Uber大数据平台介绍（上）。 我们的计算集群中有超过100PB的数据和100000个vcores。每天支持100,000个Presto查询， 10,000个Spark作业，以及 20,000个Hive查询。 Spark上的提取作业每10-15分钟运行一次，Hadoop中原始数据延迟约为30分钟（考虑到1-2个提取作业失败或者重启）。 2. 增量模式视图。从特定Hadoop表中提取给定时间戳以后的新记录和更新记录。此视图仅返回自最近检查点以来最近插入或已更新的行。 2. 合并快照表。包含上游表的最新合并视图。此表包含每一个键接受的所有历史更改日志的压缩合并视图。
1.6K20编辑于 2022-03-30 【重磅发布】PB级数据秒级“拿捏”，数仓建模平台直开挂！
通过Kylin的预计算技术，实现PB级数据的亚秒级查询响应，支持高并发多维分析场景。 AllData商业版将其集成至数据服务层，支持对PB级数据集的亚秒级响应。 混合存储引擎 Kylin采用列式存储与预计算结合的混合架构，兼顾查询性能与存储效率。 2、智能分析-新增数据源 智能分析模块支持便捷新增数据源，可快速接入多类型数据，拓展分析维度与数据覆盖范围。 3、数仓建模平台-新建项目 支持一键新建项目，可自定义配置数据模型与指标，快速搭建个性化数据分析环境。 21、用户组-新建用户组 22、仪表盘 提供可视化图表，支持实时监控与交互式数据分析。
34921编辑于 2025-10-13- 来自专栏腾讯云开发者社区推荐
PB级数据实时分析，ClickHouse到底有多彪悍？
视频内容 一、 QQ音乐PB级数据实时分析带来的挑战 腾讯公司内部有很多业务使用 ClickHouse，比较典型的就是QQ音乐。 数据分析需求来源于产品、运营、市场等多个方面，基于传统的数仓分析门槛高，产品运营市场人员无法进行自主分析，需要把任务提交给数据开发人员做排期。 所以QQ音乐最终选择了ClickHouse集群，集群的现状是近万核的规模、PB 级的存储，十万亿级别的记录量，每天过千亿级的数据入库，包括实时流水、中间表的计算等等。 在传统的数据分析中，会经常遇到广告投放和用户画像的场景，在这些场景中，我们通常要根据一定条件找出用户的标签或者更新一些投放标签。 整个使用门槛非常低，支持 SQL ，虽然它的 SQL 有些特别，但是很容易理解，数据分析人员或者是没有特别多的开发背景，学习成本很低。
8.7K265228发布于 2020-10-21 - 来自专栏萝卜要加油
Uber 如何扩展数据复制能力以实现每天 PB 级数据迁移
然而，随着 Uber 数据湖规模超过 350 PB，Distcp 的局限性逐渐显现。 图 2：Distcp 从 /src/ 目录复制到 /dest/ 目录的示意图。 图 2 展示了 Distcp 如何使用上述组件将三个文件从源目录 /src/ 复制到目标目录 /dest/。 Map 1 接收 File 1 的一个块和 File 2 的一个块。 Map 2 处理 File 3 的一个块和 File 1 的一个块。 HiveSync 的扩展性问题：临界点 到 2022 年第三季度，HiveSync 面临重大的扩展性挑战，因为每日数据复制量在仅一个季度内从 250 TB 激增至 1 PB。 截至目前，我们已成功将超过 306 PB 的数据迁移到云端。 图 17：通过 HiveSync 服务从本地迁移到云端的数据量。
11210编辑于 2026-02-04 - 来自专栏【腾讯云开发者】
PB 级数据秒级分析：腾讯云原生湖仓DLC 架构揭秘
导读｜过去几年，数据湖能力已经在腾讯内部包括微信视频号、小程序等多个业务大规模落地，数据规模达到 PB至 EB 级别。在此基础上，腾讯自研业务也启动了云原生湖仓能力建设。云原生湖仓架构最大的挑战什么？ 2）DLC 架构理念 接下来讲 DLC 的架构理念。DLC 是腾讯大数据自研能力的上云，但是并不是简单平移部署，产品形态便是最大的差异。 LC 实现 PB 级数据秒级分析 回到最开始的问题“高性能”，PB 级数据秒级分析该怎么去做，从三个大维度展开。 2）虚拟集群弹性模型 刚才讲两种缓存效果接近 10 倍的性能提升，对弹性模型就有了很高的要求，因为缓存的命中是很依赖集群拓扑的稳定性的。 但是在 PB 级数据秒级分析的能力下，这些几乎都是不必要的。 层层建模的问题：第一是模式是固定的，不够敏捷。
1.6K20编辑于 2023-01-04 - 来自专栏云计算D1net
将PB级数据传输到云端的四个步骤
如今，各种组织正在越来越多地使用公共云基础设施，但是人们发现将数百TB或PB数据向云端的迁移比想像得更复杂，更具破坏性，并且不具备灵活性。 存储行业专家阐述如何将PB级规模的数据传输到云环境的四个步骤。 (1)将数据漂移和转移到云原生存储 根据定义，还没有在云端的数据存储在具有特定数据访问协议的孤岛中。将这样的数据转移到公共云上非常复杂。 (2)自动化操作 具有内置自动化功能的数据管理软件基于IT设置和控制的策略，即使是单个管理员也可以在全球组织中管理多PB级混合云基础架构。 虽然对象是其默认设置，但却有足够的差异，采用专有技术将一个运营商，甚至PB级数据的一部分从一个提供商转移到另一个供应商可能是可以忍受的。 而治理，组织，分析与PB级数据相关的元数据在几年前是不可想象的。
1.4K70发布于 2018-03-28 - 来自专栏深度学习与python
Adobe 将 PB 级数据迁移到 Iceberg 的实践与经验教训
在这篇博文中，我们将分享 Adobe 将超过 1PB 的数据集迁移到 Adobe 体验平台数据湖（Datalake）上的 Iceberg 的故事，具体介绍我们面临的挑战以及从中吸取的经验教训。 数据湖依赖一个 Hadoop 分布式文件系统（HDFS）兼容的后端来存储数据，如今它是 Azure 提供的基于云的存储方案（Azure 的 Gen2 Data Lake Service「ADLS」）。 图 2：使用 Apache Iceberg 的 Adobe 体验平台 下面是我们迁移的所有客户端各自所有的数据集大小的分布。 图 3：迁移到 Apache Iceberg 的生产数据集的大小和数量 2迁移动机 Iceberg 迁移是将数据从一种表格式移动到 Iceberg，或将 Iceberg 作为一种表格式引入数据的过程。
1.1K20编辑于 2023-04-01 - 来自专栏腾讯云中间件的专栏
揭秘Kafka的硬盘设计方案，快速完成PB级数据扩容需求！
2. 选择硬盘介质 工业界的硬盘市场基本是机械硬盘和固态硬盘(SSD)的天下。在超大规模的存储容量场景下，SSD的价格依旧是它的硬伤。 这9个分区会平均分布在节点1，2，3上。假设节点1上分配了0、1、2三个分区。那么Kafka会将这三个分区的数据目录分别放在/data、/data1、/data2三个目录下。 partition的数据目录分别为: /data/topicA-0、/data1/topicA-1、/data2/topicA-2。至于为什么会均匀分布就不详细展开了，有兴趣同学可以去参阅相关资料。 2. 直接用RAID0可以吗？ 细心的同学可能会发现这么一个问题？假设我们有1个分区2个副本的topicB。两个副本分布在节点1和节点2。 即节点1和节点2各存两份数据(RAID1双副本)。如下图： ? 既然节点1和节点2都有Kafka的Replication副本了。为什么要在硬盘多冗余一份副本呢？这不是很浪费。是的。
1.5K10发布于 2021-03-24 - 来自专栏学谦数据运营
Copilot in Excel with Python高级数据分析
~ Copilot in Excel with Python Advanced Analysis Excel中的Python高级数据分析终于可用了。 Python进行深度高级分析： copilot会直接根据数据调用Python创建代码并直接生成图像： 结果展示： 当我用中文要求它画出柱状图时，它明确表示，如果在copilot中使用Python功能进行高级数据分析
32810编辑于 2024-09-30 - 来自专栏一臻数据
MiniMax基于 Doris 的PB级数据保卫战
今天我们要聊的故事主角，是国内大模型独角兽 MiniMax，且看它是如何基于 Apache Doris 秒级查询PB级数据。 MiniMax为什么选了Doris？ 先把时间拨回 MiniMax 早期。 MiniMax 意识到，Loki 已经不再是那个小甜甜了，他们需要一个能扛得住 PB 级数据、查得快、还得便宜的牛夫人。 摆在 MiniMax 面前的选项其实不多。 同样的 PB 级数据，存在 Doris 里占用的磁盘空间只有原来的几分之一。 再加上冷热数据分层技术，把 7 天前的老日志自动扔到廉价的对象存储（S3）上，这成本一下就打下来了 70% 以上。 结语 现在的 MiniMax 内部，PB 级日志都跑在 Apache Doris 上。 过去查询转圈圈的日子结束了，整体可用性达到了 99.9%。 Apache Doris 从一个单纯的 OLAP 数据库，进化到如今能吞下 PB 级日志的统一存储平台，正是这种技术融合的缩影。
23910编辑于 2025-12-24 TCHouse-X的BSP执行框架：解锁PB级数据智能分析的新钥匙
其核心思想是将计算过程划分为一系列超步（supersteps），每个超步内并行执行，超步之间进行全局同步，从而有效避免单节点内存不足的问题，确保PB级数据查询的稳定与高效。 二、BSP框架的五大典型适用场景 基于其技术特性，TCHouse-X的BSP执行框架尤其适用于以下五类场景： PB级历史数据深度挖掘与批处理：在金融风控、科学研究、物联网日志分析等领域，经常需要对数年甚至数十年的历史数据进行全量扫描 TCHouse-X的BSP框架结合向量化引擎，能够对PB级湖数据执行高效扫描与分析，某游戏公司将20PB行为日志存于COS，通过TCHouse-X直接查询，每月节省Spark集群费用42万元。 极致性能，成本更优：基于MPP+BSP混合执行框架、向量化执行引擎与自适应优化器，TCHouse-X实现了PB级数据的高性能处理。 它不仅解决了PB级数据处理的性能瓶颈，更通过智能弹性与统一平台，大幅降低了企业的运维成本与技术复杂度。
14710编辑于 2026-04-08- 来自专栏PPV课数据科学社区
如何利用 Excel 进行高级数据分析？
在使用之前，首先得安装Excel的数据分析功能，默认情况下，Excel是没有安装这个扩展功能的，安装如下所示： 1）鼠标悬浮在Office按钮上，然后点击【Excel选项】： ? 2）找到【加载项】，在管理板块选择【Excel加载项】,然后点击【转到】： ? 3）选择【分析工具库】，点击【确定】： ? 4）安装完后，就可以【数据】板块看到【数据分析】功能，如下所示： ? 2. 添加趋势线，并且显示回归分析的公式和R平方值： ? ? 使用Excel的数据分析功能 1）点击【数据分析】，在弹出的选择框中选择【回归】，然后点击【确定】： ? 1、回复“数据分析师”查看数据分析师系列文章 2、回复“案例”查看大数据案例系列文章 3、回复“征信”查看相关征信的系列文章 4、回复“可视化”查看可视化专题系列文章 5、回复“SPPS”查看SPSS系列文章
3.2K41发布于 2018-04-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号