- 综合排序
- 最热优先
- 最新优先
- 来自专栏Spark学习技巧
初识PB级数据分析利器Prestodb
初始PB级数据分析利器Prestodb 什么是prestodb prestodb整体架构 物理执行计划 什么是prestodb prestodb,是facebook开源的一款sql on hadoop系统
2.9K50发布于 2018-01-31 基于 StarRocks + Iceberg，TRM Labs 构建 PB 级数据分析平台实践
作者：Vijay Shekhawat：TRM Labs 数据平台团队核心成员，精通实时流处理、数据湖仓架构及构建安全、高吞吐的数据分析管道，在推动 PB 级数据处理能力方面发挥了关键作用。 作为一家致力于打击加密金融犯罪的技术公司，TRM Labs 为全球金融机构、加密企业与政府部门提供链上数据分析与情报支持。 其平台需处理来自 30 多条区块链的 PB 级数据，并以亚秒级响应支撑每分钟超过 500 次的查询请求。 基于使用 BigQuery 和 Postgres 的经验，总结出以下几点关键观察：查询时尽量减少数据读取量至关重要，可通过数据压缩、聚簇与分区优化扫描效率；传统的 B-tree 索引在 PB 级别数据下效率低下
70910编辑于 2025-06-02- 来自专栏腾讯云大数据
PB 级数据的云端迁移战事
如果单纯从字面上，普通人可能无法理解要把 PB 级的数据迁移到一朵云上，难度有多大。 “这个迁移和简单的复制完全不一样，即便是拷贝，把1PB 的数据复制过来，也需要很长时间。” 但随着游戏业务迁移上云和数据规模、维度的快速增长，数据分析任务日渐繁重和多态化，对数据处理的时效性和稳定性要求越来越高，搜狐畅游亟需通过更灵活稳定的大数据基础能力建设，提升大数据的分析、管理和运维，为游戏稳定流畅运行 “在这过程中，搜狐畅游大数据团队除了介绍业务特点，业务技术架构等情况，结合多年积累 Impala 在游戏场景数据分析的经验，提出优化假设。 当然，最终没有发生任何问题，PB 级的数据在7月中旬正式迁移到腾讯云。
2K30发布于 2021-09-18 揭秘腾讯云TCHouse-D存储引擎：如何实现亚秒级PB级数据分析？
在数据爆炸式增长的时代，企业对于实时数据分析的需求日益迫切。 默认使用LZ4压缩算法，可将数据压缩至原始大小的1/5~1/10，让TCHouse-D在相同硬件条件下存储容量提升5-10倍，计算时的数据加载速度提升3-5倍。 从分层存储架构到列式存储优化，从多级索引机制到智能编码压缩，每一个设计细节都旨在为企业提供极致的数据分析体验。 在2026年AI算力需求激增、云服务价格普遍上涨的背景下，TCHouse-D以弹性伸缩、按需付费的模式，为企业提供了高性价比的实时数据分析解决方案。
20210编辑于 2026-03-20- 来自专栏ApacheHudi
Uber基于Apache Hudi构建PB级数据湖实践
什么是Apache Hudi Apache Hudi是一个存储抽象框架，可帮助组织构建和管理PB级数据湖，通过使用upsert和增量拉取等原语，Hudi将流式处理带到了类似批处理的大数据中。 公司的各个团队都依靠快速、准确的数据分析来提供高质量的用户体验，为满足这些要求，我们当前的解决方案无法扩展进行数据湖上的增量处理。 Hudi的写时复制功能使我们能够执行文件级更新，从而大大提高数据的新鲜度 4. Uber的Apache Hudi团队开发了一种数据压缩策略，用于读时合并表，以便频繁将最近的分区转化为列式存储，从而减少了查询端的计算成本 有了Hudi，Uber每天向超过150PB数据湖中插入超过5,000 图4. Apache Hudi场景包括数据分析和基础架构运行状况监视 Hudi通过对数据集强制schema，帮助用户构建更强大、更新鲜的数据湖，从而提供高质量的见解。
1.4K20发布于 2021-04-13 - 来自专栏腾讯云数据库(TencentDB)
亿级客户和PB级数据规模的金融级数据库实战历程
4. Watch节点模式 TDSQL slave节点提供了两种角色，一种是follower节点，一种是watch节点。 微众银行经过4年多的发展，目前已发展成为两地六中心的架构，如下图所示。 ? 六、TDSQL集群规模 微众银行成立4年多以来，业务迅速发展，目前有效客户数已过亿级，微粒贷，微业贷等也成为行业的明星产品。在业务规模迅速增长的过程中，我们的数据库规模也在不断的增长。 当前微众银行的TDSQL SET个数已达350+（生产+容灾），数据库实例个数已达到1700+，整体数据规模已达到PB级，承载了微众银行数百个核心系统。 图 微众银行TDSQL业务规模 在过去4年多的运营中，TDSQL也从未出现过大的系统故障，或者数据安全问题，同时基于TDSQL的X86的软硬件架构，帮助微众银行极大的降低IT户均成本，极大提升了微众银行的行业竞争力
2.6K20发布于 2019-08-17 - 来自专栏upuptop的专栏
PB级数据实现秒级查询ES的安装
--------- Network ----------------------------------- # # Set the bind address to a specific IP (IPv4 /bin/elasticsearch 启动中遇到的问题： ERROR: [4] bootstrap checks failed [1]: max file descriptors [4096] for
77520发布于 2019-09-18 - 来自专栏Spark学习技巧
PB级数据实时查询，滴滴Elasticsearch多集群架构实践
滴滴 Elasticsearch 简介 滴滴 2016 年初开始构建 Elasticsearch 平台，如今已经发展到超过 3500+Elasticsearch 实例，超过 5PB 的数据存储，峰值写入 Elasticsearch 平台规模的快速发展，Elasticsearch 集群越来越大，最大的时候，是由几百台物理机组成集群，当时集群共 3000+ 的索引，超过了 50000 个 Shard，集群总容量达到了 PB
1.3K30发布于 2019-06-20 - 来自专栏数据科学和人工智能
100PB级数据分钟级延迟：Uber大数据平台（下）
阅读本文前请先阅读上一篇文章：100+PB数据分钟级延迟：Uber大数据平台介绍（上）。 我们的计算集群中有超过100PB的数据和100000个vcores。每天支持100,000个Presto查询， 10,000个Spark作业，以及 20,000个Hive查询。 我们的研究揭示了四个主要的痛点：1）突破HDFS水平扩展限制；2）加快Hadoop数据处理速度；3）在Hadoop和Parquet中支持数据更新和删除；4）实现更快的ETL和建模。 第4代：下一步是什么？ 自2017年推出第三代大数据平台以来，整个公司的用户可以快速可靠地访问Hadoop中的数据。但是依然还有进一步提升的空间。
1.6K20编辑于 2022-03-30 【重磅发布】PB级数据秒级“拿捏”，数仓建模平台直开挂！
通过Kylin的预计算技术，实现PB级数据的亚秒级查询响应，支持高并发多维分析场景。 AllData商业版将其集成至数据服务层，支持对PB级数据集的亚秒级响应。 混合存储引擎 Kylin采用列式存储与预计算结合的混合架构，兼顾查询性能与存储效率。 3、数仓建模平台-新建项目 支持一键新建项目，可自定义配置数据模型与指标，快速搭建个性化数据分析环境。 4、历史记录 自动记录操作历史，支持按时间、类型筛选查看，便于追溯修改轨迹与审计复盘 5、历史记录-导出 6、数据资产-数据源 数据资产模块可集中管理数据源，支持多类型接入、元数据查看及权限灵活配置 21、用户组-新建用户组 22、仪表盘 提供可视化图表，支持实时监控与交互式数据分析。
34921编辑于 2025-10-13- 来自专栏腾讯云开发者社区推荐
PB级数据实时分析，ClickHouse到底有多彪悍？
视频内容 一、 QQ音乐PB级数据实时分析带来的挑战 腾讯公司内部有很多业务使用 ClickHouse，比较典型的就是QQ音乐。 数据分析需求来源于产品、运营、市场等多个方面，基于传统的数仓分析门槛高，产品运营市场人员无法进行自主分析，需要把任务提交给数据开发人员做排期。 所以QQ音乐最终选择了ClickHouse集群，集群的现状是近万核的规模、PB 级的存储，十万亿级别的记录量，每天过千亿级的数据入库，包括实时流水、中间表的计算等等。 4. 读写分离 频繁的数据写入请求会消耗大量的 CPU、内存、网卡资源，同时 ClickHouse 后台线程也会进行数据合并的操作，占用线程。 在传统的数据分析中，会经常遇到广告投放和用户画像的场景，在这些场景中，我们通常要根据一定条件找出用户的标签或者更新一些投放标签。
8.7K265228发布于 2020-10-21 - 来自专栏萝卜要加油
Uber 如何扩展数据复制能力以实现每天 PB 级数据迁移
然而，随着 Uber 数据湖规模超过 350 PB，Distcp 的局限性逐渐显现。 HiveSync 的扩展性问题：临界点 到 2022 年第三季度，HiveSync 面临重大的扩展性挑战，因为每日数据复制量在仅一个季度内从 250 TB 激增至 1 PB。 具体而言，P100 复制延迟 SLA 4 小时和 P99.9 SLO 20 分钟在这一新规模下变得难以维持。 图 4：HDFS FSUtils 延迟增加直接影响 Distcp 拷贝清单任务。 截至目前，我们已成功将超过 306 PB 的数据迁移到云端。 图 17：通过 HiveSync 服务从本地迁移到云端的数据量。
11210编辑于 2026-02-04 - 来自专栏【腾讯云开发者】
PB 级数据秒级分析：腾讯云原生湖仓DLC 架构揭秘
导读｜过去几年，数据湖能力已经在腾讯内部包括微信视频号、小程序等多个业务大规模落地，数据规模达到 PB至 EB 级别。在此基础上，腾讯自研业务也启动了云原生湖仓能力建设。云原生湖仓架构最大的挑战什么？ LC 实现 PB 级数据秒级分析 回到最开始的问题“高性能”，PB 级数据秒级分析该怎么去做，从三个大维度展开。 但是在 PB 级数据秒级分析的能力下，这些几乎都是不必要的。 层层建模的问题：第一是模式是固定的，不够敏捷。
1.6K20编辑于 2023-01-04 - 来自专栏云计算D1net
将PB级数据传输到云端的四个步骤
如今，各种组织正在越来越多地使用公共云基础设施，但是人们发现将数百TB或PB数据向云端的迁移比想像得更复杂，更具破坏性，并且不具备灵活性。 (2)自动化操作 具有内置自动化功能的数据管理软件基于IT设置和控制的策略，即使是单个管理员也可以在全球组织中管理多PB级混合云基础架构。 虽然对象是其默认设置，但却有足够的差异，采用专有技术将一个运营商，甚至PB级数据的一部分从一个提供商转移到另一个供应商可能是可以忍受的。 (4)掌握元数据 由于技术上的限制，SAN和NAS系统等传统存储器并没有考虑元数据。云原生存储使用对象数据保留元数据，而不是在单独的数据库中，只有其自己的应用程序才能读取。 而治理，组织，分析与PB级数据相关的元数据在几年前是不可想象的。
1.4K70发布于 2018-03-28 - 来自专栏深度学习与python
Adobe 将 PB 级数据迁移到 Iceberg 的实践与经验教训
在这篇博文中，我们将分享 Adobe 将超过 1PB 的数据集迁移到 Adobe 体验平台数据湖（Datalake）上的 Iceberg 的故事，具体介绍我们面临的挑战以及从中吸取的经验教训。 根据我们的评估，我们将客户分为四类： 图 4：迁移类型 帐户重置（Account Reset）：这些客户并不在乎从存储中删除他们的数据并重置相应的元数据。 4迁移最佳实践 不管是什么类型的数据我们都会迁移过去，迁移策略的目标是提高性能和竞争力。如果迁移出了问题，可能会导致数据不够准确（出现冗余或损坏）。
1.1K20编辑于 2023-04-01 - 来自专栏腾讯云中间件的专栏
揭秘Kafka的硬盘设计方案，快速完成PB级数据扩容需求！
此时当生产一条数据messageA时，messageA会在集群里面存储4份。即节点1和节点2各存两份数据(RAID1双副本)。如下图： ?
1.5K10发布于 2021-03-24 - 来自专栏学谦数据运营
Copilot in Excel with Python高级数据分析
~ Copilot in Excel with Python Advanced Analysis Excel中的Python高级数据分析终于可用了。 Python进行深度高级分析： copilot会直接根据数据调用Python创建代码并直接生成图像： 结果展示： 当我用中文要求它画出柱状图时，它明确表示，如果在copilot中使用Python功能进行高级数据分析
32810编辑于 2024-09-30 - 来自专栏一臻数据
MiniMax基于 Doris 的PB级数据保卫战
今天我们要聊的故事主角，是国内大模型独角兽 MiniMax，且看它是如何基于 Apache Doris 秒级查询PB级数据。 MiniMax为什么选了Doris？ 先把时间拨回 MiniMax 早期。 MiniMax 意识到，Loki 已经不再是那个小甜甜了，他们需要一个能扛得住 PB 级数据、查得快、还得便宜的牛夫人。 摆在 MiniMax 面前的选项其实不多。 同样的 PB 级数据，存在 Doris 里占用的磁盘空间只有原来的几分之一。 再加上冷热数据分层技术，把 7 天前的老日志自动扔到廉价的对象存储（S3）上，这成本一下就打下来了 70% 以上。 结语 现在的 MiniMax 内部，PB 级日志都跑在 Apache Doris 上。 过去查询转圈圈的日子结束了，整体可用性达到了 99.9%。 Apache Doris 从一个单纯的 OLAP 数据库，进化到如今能吞下 PB 级日志的统一存储平台，正是这种技术融合的缩影。
23910编辑于 2025-12-24 TCHouse-X的BSP执行框架：解锁PB级数据智能分析的新钥匙
其核心思想是将计算过程划分为一系列超步（supersteps），每个超步内并行执行，超步之间进行全局同步，从而有效避免单节点内存不足的问题，确保PB级数据查询的稳定与高效。 二、BSP框架的五大典型适用场景 基于其技术特性，TCHouse-X的BSP执行框架尤其适用于以下五类场景： PB级历史数据深度挖掘与批处理：在金融风控、科学研究、物联网日志分析等领域，经常需要对数年甚至数十年的历史数据进行全量扫描 TCHouse-X的BSP框架结合向量化引擎，能够对PB级湖数据执行高效扫描与分析，某游戏公司将20PB行为日志存于COS，通过TCHouse-X直接查询，每月节省Spark集群费用42万元。 极致性能，成本更优：基于MPP+BSP混合执行框架、向量化执行引擎与自适应优化器，TCHouse-X实现了PB级数据的高性能处理。 它不仅解决了PB级数据处理的性能瓶颈，更通过智能弹性与统一平台，大幅降低了企业的运维成本与技术复杂度。
14710编辑于 2026-04-08- 来自专栏PPV课数据科学社区
如何利用 Excel 进行高级数据分析？
4）安装完后，就可以【数据】板块看到【数据分析】功能，如下所示： ? 安装完后，首先来了解一下回归分析的内容。 回归分析 在详细进行回归分析之前，首先要理解什么叫回归？ 使用Excel的数据分析功能 1）点击【数据分析】，在弹出的选择框中选择【回归】，然后点击【确定】： ? 4）以下是残差图： ? 1、回复“数据分析师”查看数据分析师系列文章 2、回复“案例”查看大数据案例系列文章 3、回复“征信”查看相关征信的系列文章 4、回复“可视化”查看可视化专题系列文章 5、回复“SPPS”查看SPSS系列文章 6、回复“答案”查看hadoop面试题题目及答案 7、回复“爱情”查看大数据与爱情的故事 8、回复“笑话”查看大数据系列笑话 9、回复“大数据1、大数据2、大数据3、大数据4”查看大数据历史机遇连载
3.2K41发布于 2018-04-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号