- 综合排序
- 最热优先
- 最新优先
- 来自专栏Spark学习技巧
初识PB级数据分析利器Prestodb
初始PB级数据分析利器Prestodb 什么是prestodb prestodb整体架构 物理执行计划 什么是prestodb prestodb,是facebook开源的一款sql on hadoop系统
2.9K50发布于 2018-01-31 基于 StarRocks + Iceberg，TRM Labs 构建 PB 级数据分析平台实践
作者：Vijay Shekhawat：TRM Labs 数据平台团队核心成员，精通实时流处理、数据湖仓架构及构建安全、高吞吐的数据分析管道，在推动 PB 级数据处理能力方面发挥了关键作用。 作为一家致力于打击加密金融犯罪的技术公司，TRM Labs 为全球金融机构、加密企业与政府部门提供链上数据分析与情报支持。 其平台需处理来自 30 多条区块链的 PB 级数据，并以亚秒级响应支撑每分钟超过 500 次的查询请求。 基于使用 BigQuery 和 Postgres 的经验，总结出以下几点关键观察：查询时尽量减少数据读取量至关重要，可通过数据压缩、聚簇与分区优化扫描效率；传统的 B-tree 索引在 PB 级别数据下效率低下 四、未来规划（图5，面向用户分析场景的下一代数据平台架构）在综合评估三种开源表格式及多款查询引擎后，我们最终选定 Apache Iceberg 与 StarRocks 作为核心组件，构建 TRM 的下一代数据平台
70910编辑于 2025-06-02- 来自专栏腾讯云大数据
PB 级数据的云端迁移战事
如果单纯从字面上，普通人可能无法理解要把 PB 级的数据迁移到一朵云上，难度有多大。 “这个迁移和简单的复制完全不一样，即便是拷贝，把1PB 的数据复制过来，也需要很长时间。” 但随着游戏业务迁移上云和数据规模、维度的快速增长，数据分析任务日渐繁重和多态化，对数据处理的时效性和稳定性要求越来越高，搜狐畅游亟需通过更灵活稳定的大数据基础能力建设，提升大数据的分析、管理和运维，为游戏稳定流畅运行 “在这过程中，搜狐畅游大数据团队除了介绍业务特点，业务技术架构等情况，结合多年积累 Impala 在游戏场景数据分析的经验，提出优化假设。 当然，最终没有发生任何问题，PB 级的数据在7月中旬正式迁移到腾讯云。
2K30发布于 2021-09-18 揭秘腾讯云TCHouse-D存储引擎：如何实现亚秒级PB级数据分析？
在数据爆炸式增长的时代，企业对于实时数据分析的需求日益迫切。 默认使用LZ4压缩算法，可将数据压缩至原始大小的1/5~1/10，让TCHouse-D在相同硬件条件下存储容量提升5-10倍，计算时的数据加载速度提升3-5倍。 从分层存储架构到列式存储优化，从多级索引机制到智能编码压缩，每一个设计细节都旨在为企业提供极致的数据分析体验。 在2026年AI算力需求激增、云服务价格普遍上涨的背景下，TCHouse-D以弹性伸缩、按需付费的模式，为企业提供了高性价比的实时数据分析解决方案。
20210编辑于 2026-03-20- 来自专栏ApacheHudi
Uber基于Apache Hudi构建PB级数据湖实践
什么是Apache Hudi Apache Hudi是一个存储抽象框架，可帮助组织构建和管理PB级数据湖，通过使用upsert和增量拉取等原语，Hudi将流式处理带到了类似批处理的大数据中。 公司的各个团队都依靠快速、准确的数据分析来提供高质量的用户体验，为满足这些要求，我们当前的解决方案无法扩展进行数据湖上的增量处理。 Uber的Apache Hudi团队开发了一种数据压缩策略，用于读时合并表，以便频繁将最近的分区转化为列式存储，从而减少了查询端的计算成本 有了Hudi，Uber每天向超过150PB数据湖中插入超过5,000 5. Apache Hudi经验总结 Uber在2017年开源了Hudi，为其他人带来了该解决方案的好处，该解决方案可大规模提取和管理数据存储，从而将流处理引入大数据。 Apache Hudi场景包括数据分析和基础架构运行状况监视 Hudi通过对数据集强制schema，帮助用户构建更强大、更新鲜的数据湖，从而提供高质量的见解。
1.4K20发布于 2021-04-13 - 来自专栏腾讯云数据库(TencentDB)
亿级客户和PB级数据规模的金融级数据库实战历程
5. 自动化监控与运维 TDSQL配套提供了赤兔管理平台系统，来支持整个TDSQL集群的可视化、自动化的监控和运维功能。如下图所示，为TDSQL赤兔管理平台的运行界面。 ? 图 微众银行IDC架构 其中两地位于深圳和上海，深圳作为生产中心，在深圳同城有5个IDC机房，上海作为跨城异地容灾，有1个IDC机房。 深圳5个同城IDC，通过多条专线两两互联，保证极高的网络质量和带宽，同时任何两个IDC之间的距离控制在10~50公里，以保证机房间的网络ping延迟控制在2ms左右。 当前微众银行的TDSQL SET个数已达350+（生产+容灾），数据库实例个数已达到1700+，整体数据规模已达到PB级，承载了微众银行数百个核心系统。
2.6K20发布于 2019-08-17 - 来自专栏upuptop的专栏
PB级数据实现秒级查询ES的安装
什么是ES？ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。ElasticSearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 本教程使用软件为6.4.3版本 下载 ElasticSearch： https://www.elastic.co/cn/downloads/elas
77520发布于 2019-09-18 - 来自专栏Spark学习技巧
PB级数据实时查询，滴滴Elasticsearch多集群架构实践
滴滴 Elasticsearch 简介 滴滴 2016 年初开始构建 Elasticsearch 平台，如今已经发展到超过 3500+Elasticsearch 实例，超过 5PB 的数据存储，峰值写入 Elasticsearch 平台规模的快速发展，Elasticsearch 集群越来越大，最大的时候，是由几百台物理机组成集群，当时集群共 3000+ 的索引，超过了 50000 个 Shard，集群总容量达到了 PB 其中有些回调逻辑在索引、Shard 膨胀后，会出现处理缓慢的问题，当 Shard 膨胀到 5-6w 时，一些任务处理需要 8-9s 的时间，严重影响了集群的恢复能力。 改造成多集群架构后，我们扛住了 Elasticsearch 平台规模爆炸式增长，Elasticsearch 平台的规模翻了 5 倍多，多集群架构很好的支撑了业务的快速发展。
1.3K30发布于 2019-06-20 - 来自专栏数据科学和人工智能
100PB级数据分钟级延迟：Uber大数据平台（下）
阅读本文前请先阅读上一篇文章：100+PB数据分钟级延迟：Uber大数据平台介绍（上）。 我们的计算集群中有超过100PB的数据和100000个vcores。每天支持100,000个Presto查询， 10,000个Spark作业，以及 20,000个Hive查询。 图5描述了集成了Hudi的大数据平台： 图5：第三代大数据平台采取了更快的增量数据提取模式（使用开源Marmaray框架）和更高效的存储和数据服务（使用开源Hudi库）。
1.6K20编辑于 2022-03-30 【重磅发布】PB级数据秒级“拿捏”，数仓建模平台直开挂！
通过Kylin的预计算技术，实现PB级数据的亚秒级查询响应，支持高并发多维分析场景。 AllData商业版将其集成至数据服务层，支持对PB级数据集的亚秒级响应。 混合存储引擎 Kylin采用列式存储与预计算结合的混合架构，兼顾查询性能与存储效率。 3、数仓建模平台-新建项目 支持一键新建项目，可自定义配置数据模型与指标，快速搭建个性化数据分析环境。 4、历史记录 自动记录操作历史，支持按时间、类型筛选查看，便于追溯修改轨迹与审计复盘 5、历史记录-导出 6、数据资产-数据源 数据资产模块可集中管理数据源，支持多类型接入、元数据查看及权限灵活配置 21、用户组-新建用户组 22、仪表盘 提供可视化图表，支持实时监控与交互式数据分析。
34921编辑于 2025-10-13- 来自专栏腾讯云开发者社区推荐
PB级数据实时分析，ClickHouse到底有多彪悍？
开源5年以来，以性能优异、简单易用的特点，吸引了大量的用户群体。 视频内容 一、 QQ音乐PB级数据实时分析带来的挑战 腾讯公司内部有很多业务使用 ClickHouse，比较典型的就是QQ音乐。 数据分析需求来源于产品、运营、市场等多个方面，基于传统的数仓分析门槛高，产品运营市场人员无法进行自主分析，需要把任务提交给数据开发人员做排期。 所以QQ音乐最终选择了ClickHouse集群，集群的现状是近万核的规模、PB 级的存储，十万亿级别的记录量，每天过千亿级的数据入库，包括实时流水、中间表的计算等等。 5.
8.7K265228发布于 2020-10-21 - 来自专栏萝卜要加油
Uber 如何扩展数据复制能力以实现每天 PB 级数据迁移
然而，随着 Uber 数据湖规模超过 350 PB，Distcp 的局限性逐渐显现。 图 5：线程阻塞在 RPC 调用上。 成效 增量数据复制能力显著提升 5 倍 我们对 Uber Distcp 工具所做的改进极大地提升了跨本地和云数据中心的增量数据复制能力。 得益于这些变更，我们在仅一年内将本地数据处理能力提升了 5 倍，且未发生任何与扩展相关的故障。 图 16：HiveSync 在本地和云数据中心的规模。 截至目前，我们已成功将超过 306 PB 的数据迁移到云端。 图 17：通过 HiveSync 服务从本地迁移到云端的数据量。
11210编辑于 2026-02-04 - 来自专栏【腾讯云开发者】
PB 级数据秒级分析：腾讯云原生湖仓DLC 架构揭秘
导读｜过去几年，数据湖能力已经在腾讯内部包括微信视频号、小程序等多个业务大规模落地，数据规模达到 PB至 EB 级别。在此基础上，腾讯自研业务也启动了云原生湖仓能力建设。云原生湖仓架构最大的挑战什么？ LC 实现 PB 级数据秒级分析 回到最开始的问题“高性能”，PB 级数据秒级分析该怎么去做，从三个大维度展开。 但是在 PB 级数据秒级分析的能力下，这些几乎都是不必要的。 层层建模的问题：第一是模式是固定的，不够敏捷。
1.6K20编辑于 2023-01-04 - 来自专栏云计算D1net
将PB级数据传输到云端的四个步骤
如今，各种组织正在越来越多地使用公共云基础设施，但是人们发现将数百TB或PB数据向云端的迁移比想像得更复杂，更具破坏性，并且不具备灵活性。 存储行业专家阐述如何将PB级规模的数据传输到云环境的四个步骤。 (1)将数据漂移和转移到云原生存储 根据定义，还没有在云端的数据存储在具有特定数据访问协议的孤岛中。将这样的数据转移到公共云上非常复杂。 (2)自动化操作 具有内置自动化功能的数据管理软件基于IT设置和控制的策略，即使是单个管理员也可以在全球组织中管理多PB级混合云基础架构。 虽然对象是其默认设置，但却有足够的差异，采用专有技术将一个运营商，甚至PB级数据的一部分从一个提供商转移到另一个供应商可能是可以忍受的。 而治理，组织，分析与PB级数据相关的元数据在几年前是不可想象的。
1.4K70发布于 2018-03-28 - 来自专栏深度学习与python
Adobe 将 PB 级数据迁移到 Iceberg 的实践与经验教训
在这篇博文中，我们将分享 Adobe 将超过 1PB 的数据集迁移到 Adobe 体验平台数据湖（Datalake）上的 Iceberg 的故事，具体介绍我们面临的挑战以及从中吸取的经验教训。 5迁移策略 构建迁移策略的方法不止一种，大多数策略属于以下两类之一：“大爆炸（big bang）”或“涓流（trickle）”。 图 5：使用就地升级策略的 Adobe 体验平台架构 优点 避免全表扫描读取数据，因为没有数据重述（restatement）。
1.1K20编辑于 2023-04-01 - 来自专栏腾讯云中间件的专栏
揭秘Kafka的硬盘设计方案，快速完成PB级数据扩容需求！
典型代表有RAID0、RAID1、RAID5、RAID10等。由于篇幅原因，就不展开解释RAID的相关知识。有兴趣的可以查阅相关资料。简单比对一下以上方案的优劣势： ? 1.
1.5K10发布于 2021-03-24 - 来自专栏学谦数据运营
Copilot in Excel with Python高级数据分析
~ Copilot in Excel with Python Advanced Analysis Excel中的Python高级数据分析终于可用了。 Python进行深度高级分析： copilot会直接根据数据调用Python创建代码并直接生成图像： 结果展示： 当我用中文要求它画出柱状图时，它明确表示，如果在copilot中使用Python功能进行高级数据分析
32810编辑于 2024-09-30 - 来自专栏一臻数据
MiniMax基于 Doris 的PB级数据保卫战
今天我们要聊的故事主角，是国内大模型独角兽 MiniMax，且看它是如何基于 Apache Doris 秒级查询PB级数据。 MiniMax为什么选了Doris？ 先把时间拨回 MiniMax 早期。 MiniMax 意识到，Loki 已经不再是那个小甜甜了，他们需要一个能扛得住 PB 级数据、查得快、还得便宜的牛夫人。 摆在 MiniMax 面前的选项其实不多。 MiniMax 实测下来，单节点写入吞吐能达到 ES的近5倍。 整个集群日志洪流灌进去，Doris 连眉头都不皱一下。 最关键的是成本。 Doris 的列式存储加上 ZSTD 压缩算法，压缩比能做到 1:5 以上。同样的 PB 级数据，存在 Doris 里占用的磁盘空间只有原来的几分之一。 Apache Doris 从一个单纯的 OLAP 数据库，进化到如今能吞下 PB 级日志的统一存储平台，正是这种技术融合的缩影。
23910编辑于 2025-12-24 TCHouse-X的BSP执行框架：解锁PB级数据智能分析的新钥匙
其核心思想是将计算过程划分为一系列超步（supersteps），每个超步内并行执行，超步之间进行全局同步，从而有效避免单节点内存不足的问题，确保PB级数据查询的稳定与高效。 二、BSP框架的五大典型适用场景 基于其技术特性，TCHouse-X的BSP执行框架尤其适用于以下五类场景： PB级历史数据深度挖掘与批处理：在金融风控、科学研究、物联网日志分析等领域，经常需要对数年甚至数十年的历史数据进行全量扫描 TCHouse-X的BSP框架结合向量化引擎，能够对PB级湖数据执行高效扫描与分析，某游戏公司将20PB行为日志存于COS，通过TCHouse-X直接查询，每月节省Spark集群费用42万元。 极致性能，成本更优：基于MPP+BSP混合执行框架、向量化执行引擎与自适应优化器，TCHouse-X实现了PB级数据的高性能处理。 它不仅解决了PB级数据处理的性能瓶颈，更通过智能弹性与统一平台，大幅降低了企业的运维成本与技术复杂度。
14710编辑于 2026-04-08- 来自专栏PPV课数据科学社区
如何利用 Excel 进行高级数据分析？
在使用之前，首先得安装Excel的数据分析功能，默认情况下，Excel是没有安装这个扩展功能的，安装如下所示： 1）鼠标悬浮在Office按钮上，然后点击【Excel选项】： ? 4）安装完后，就可以【数据】板块看到【数据分析】功能，如下所示： ? 安装完后，首先来了解一下回归分析的内容。 回归分析 在详细进行回归分析之前，首先要理解什么叫回归？ 使用Excel的数据分析功能 1）点击【数据分析】，在弹出的选择框中选择【回归】，然后点击【确定】： ? 5）以下是线性拟合图 ? 在线性拟合图中可以看到，除了实际的数据点，还有经过拟和处理的预测数据点，这些参数在以上的表格中也有显示。 6）以下是正态概率图 ? 1、回复“数据分析师”查看数据分析师系列文章 2、回复“案例”查看大数据案例系列文章 3、回复“征信”查看相关征信的系列文章 4、回复“可视化”查看可视化专题系列文章 5、回复“SPPS”查看SPSS系列文章
3.2K41发布于 2018-04-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号