- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯大数据的专栏
腾讯大数据｜天穹SuperSQL执行核心剖析
SuperSQL是腾讯自研的统一大数据自适应计算平台，以自适应作为串联，整合了不同的大数据组件。通过开放融合的架构，实现一套系统解决公有云、私有云、内网的大数据痛点问题。 为了解决优化阶段的长耗时问题，SuperSQL设计出多阶段混合优化器，相较于单阶段优化，其效率提升达5倍多。 多阶段混合优化器的优化实现主要包括： 1.动态超时机制：(1). ：引擎选择CBO实现，估算数据扫描量，评估JOIN处理，对于数量量级敏感的MPP引擎，若量级超过阈值，则排除MPP引擎选择 5.执行历史：引擎选择HBO实现，将SQL生成唯一签名并匹配历史执行的资源消耗量和成功率 腾讯天穹Presto实现了动态Catalog加载功能，允许在单一SQL中指定多个数据源Catalog，以实现跨源计算。 在天穹体系下，SuperSQL基于Data Fabric技术理念，设计出虚拟表方案实现湖仓一体。 虚拟表的本质是虚拟化，通过Schema虚拟化和数据虚拟化实现湖仓一体的融合。
2.4K51编辑于 2024-04-28 - 来自专栏腾讯大数据的专栏
天穹SuperSQL：腾讯下一代大数据自适应计算引擎
，自适应不同架构下的数据融合计算需求，通过自动数据冷热分层，多级缓存，提升存储访问性能 场景架构自适应：适配多云混合架构，实现最优的跨集群、跨DC、跨云计算路由，打通数据链路，解决数据孤岛 融合计算平台已在天穹落地 具体做法为，将SQL语句按字符（或单词，字符效果更好）进行分割，相邻的1-5个字符构成一个元组，选取训练数据中出现频率最高的50万个元组，计算全部训练数据中对应元组的词频-逆文档词频（TF-IDF）值， 由于特征维度大，训练数据多，模型训练慢，因此对特征进行降维。 为此，天穹Presto做了针对性的优化，在动态的计算环境中，通过感知节点算力的变化，自适应地调整计算任务的调度，避免低算力节点的影响。 天穹Presto自适应任务调度主要分为：Task自适应调度与Split自适应调度，方案实现的核心思想是：根据节点的算力情况动态分配Split和Task，整体架构如下图所示： 天穹Presto
6K20编辑于 2022-08-26 - 来自专栏腾讯大数据的专栏
天穹SuperSQL如何把腾讯 PB 级大数据计算做到秒级？
天穹SuperSQL是腾讯自研，基于统一的SQL语言模型，面向机器学习智能调优，提供虚拟化数据和开放式计算引擎的大数据智能融合平台。 Presto在腾讯天穹SuperSQL大数据生态中，定位为实现秒级大数据计算的核心服务。主要面向即席查询、交互式分析等用户场景。 得益于Presto的多数据源访问能力，天穹Presto支持对接了Hive、Iceberg、MySQL等数据源，且为了更好地支持内部的业务，我们也扩展开发了内部的TDW Connnector，支持访问腾讯内部的数据仓库数据 5 总结 & 未来工作 天穹SuperSQL的vision是通过构建大数据智能融合平台，将异构的计算引擎/异构的存储服务、计算的自动智能优化、流批一体的统一以及自治的系统运维纳入内部，给使用者提供简单统一的逻辑入口和虚拟化的视图方案 5 联系我们 如果你对SuperSQL感兴趣，欢迎联系我们探讨技术。同时我们长期欢迎志同道合的大数据人才加入，欢迎咨询。联系方式：yikonchen@tencent.com
2.1K51编辑于 2022-01-23 - 来自专栏大数据知识
大数据5大关键处理技术
文章转自：真灼社 大数据已经逐渐普及，大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。 一）大数据面临的存储管理问题 ●存储规模大 大数据的一个显著特征就是数据量大，起始计算量单位至少是PB，甚至会采用更大的单位EB或ZB，导致存储规模相当大。 4）数据挖掘：根据数据功能的类型和和数据的特点选择相应的算法，在净化和转换过的数据集上进行数据挖掘。 5）结果分析：对数据挖掘的结果进行解释和评价，转换成为能够最终被用户理解的知识。 5、统计分析方法 在数据库字段项之间存在两种关系：函数关系和相关关系，对它们的分析可采用统计学方法，即利用统计学原理对数据库中的信息进行分析。可进行常用统计、回归分析、相关分析、差异分析等。 5. 数据质量和数据管理 大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理无论是在学术研究还是在商业应用领域都极其重要，各个领域都需要保证分析结果的真实性和价值性。
10.8K30发布于 2021-03-12 直面“AI曼哈顿计划”，中国科学智能的破局之道
《意见》提出利用人工智能技术加速“从0到1”科学发现的核心引擎，通过科学大模型建设、科研平台智能化升级、高质量科学数据集开放共享，提升跨模态数据处理能力，推动科研范式从线性探索转向智能驱动，助力破解基础学科重大难题 11月，美国紧随而来推出“创世纪计划”，这项被喻为“AI曼哈顿计划”的国家战略，集结全美超算资源与联邦数据，构建从假设提出、模拟计算到实验验证的全链条AI科研平台，重点攻关先进制造、生物技术、关键材料等六大战略领域 从AlphaFold破解蛋白质结构预测难题，到气象大模型提升预测精度，科学智能已展现出颠覆科研范式的巨大潜力，而足量且高质量的科研训练数据与算力基础设施，正是实现这一突破的首要条件。 这种技术优势正转化为实实在在的科研价值，在生物医药领域，“天穹”已推动多款药物进入临床前试验阶段，通过高精度模拟发现新的变构口袋及候选药物分子；在新材料领域，其支撑的电解液数据集成为国家新材料大数据中心门户首批入驻的 AI-Ready材料数据集，为锂电池等新材料研发注入算力动能，与此同时，3D科学计算机“天穹”的应用边界仍在持续拓展，为我国基础科学探索注入持久算力动能，为各领域科技突破提供全场景支撑。
12910编辑于 2026-03-19- 来自专栏杨飞@益术
Android数据存储实现的5大方式
下面会详细讲解如果创建数据库，添加数据和查询数据库。 创建数据库 Android 不自动提供数据库。 给表添加数据 上面的代码，已经创建了数据库和表，现在需要给表添加数据。有两种方法可以给表添加数据。 例如： db.execSQL(“INSERT INTO widgets (name, inventory)”+ “VALUES (‘Sprocket’, 5)”); 另一种方法是使用 SQLiteDatabase 第四种： 使用ContentProvider存储数据 Android这个系统和其他的操作系统还不太一样，我们需要记住的是，数据在Android当中是私有的，当然这些数据包括文件数据和数据库数据以及一些其他类型的数据 定义你要返回给客户端的数据列名。如果你正在使用Android数据库，则数据列的使用方式就和你以往所熟悉的其他数据库一样。但是，你必须为其定义一个叫_id的列，它用来表示每条记录的唯一性。 5.
4.3K20发布于 2019-02-21 - 来自专栏灯塔大数据
趋势 | 大数据存储领域5大突破技术
从2011年，纽约的startup公司已经成长为开发者服务的第二大云部署平台，为包括亚马逊、谷歌和微软在内的很多大型公司提供简单的、可升级的SSD云服务平台。 同时，共享驾驶App也在爆炸式增长，例如Uber打破了人们对于汽车所有权的传统看法，Lyft和通用汽车也斥资5亿美元研究如何破解自动驾驶汽车共享软件app的代码。 ? 图3：自动驾驶的智能汽车。 只能机器人显然非常吸引人，部分是因为它们在人性化和专业设置方面具有非常大的应用潜力。 基于以上发展趋势，我们不难想见情绪之于我们的移动装置与冷冰冰的数据是同等重要的。 5 大数据简化 大数据可以提供我们前所未有的洞察力，而利用这些数据的关键在于解读和分析。 根据甲骨文公司分析，简单的大数据挖掘工具将要有长足的发展，因为这样分析师可以直接在企业Hadoop集群上购买数据，重新调整并采用机器学习技术进行分析。
2.6K60发布于 2018-04-10 - 来自专栏Java学习网
Android数据存储实现的5大方式
Android数据存储实现的5大方式 数据存储在开发中是使用最频繁的，在这里主要介绍Android平台中实现数据存储的5种方式，更加系统详细的介绍了5种存储的方法和异同。 下面会详细讲解如果创建数据库，添加数据和查询数据库。 创建数据库 Android 不自动提供数据库。在 Android 应用程序中使用 SQLite，必须自己创建数据库，然后创建表、索引，填充数据。 给表添加数据 上面的代码，已经创建了数据库和表，现在需要给表添加数据。有两种方法可以给表添加数据。 例如： db.execSQL(“INSERT INTO widgets (name, inventory)”+ “VALUES (‘Sprocket’, 5)”); 另一种方法是使用 SQLiteDatabase 如果你正在使用Android数据库，则数据列的使用方式就和你以往所熟悉的其他数据库一样。但是，你必须为其定义一个叫_id的列，它用来表示每条记录的唯一性。 5.
8K90发布于 2018-02-26 - 来自专栏CDA数据分析师
译文 | 新兴大数据企业的5大挑战！
但是，近几年，它在大多数数据驱动型企业中发挥着重要的作用。更重要的是，大数据可以帮助制定企业战略，提高运营效率，并加速企业成长。 与数据热潮随之而来的，是大量的金融投资。 大约75％的组织表示，他们已经在先进大数据设施上投入了大量资金或者在未来几年会投入大量资金。同时，一大批新兴大数据企业如雨后春笋般破土而出，以此满足企业客户不断增长的市场需求。 这里是当今新兴大数据企业面临的5大挑战： 1.人才匮乏 大数据是一个增长中的市场。六成的企业决策者都预计本年度会在大数据项目上投入更多资金，只有5%认为会有所减少。 5.激烈竞争 2015年，大数据的全球消费预计将达到1250亿，初创公司不必再走向大数据的路途上感到孤单，因为如SAP，微软和IBM这样的大企业也要面临残酷的竞争。 这里的教训：建立一个成功的大数据业务是不是为懦弱者准备的。但是，如果你为上面描述的五大挑战做好准备，那么，你就可以在大数据领域未来的发展过程中大显身手。
81350发布于 2018-02-23 - 来自专栏PPV课数据科学社区
【资讯】大数据5大误区：大数据不是灵丹妙药
“预测分析”总体是指基于当前和历史数据，用数据分析为企业提供对未来事件的预测。 然而盛名之下，围绕大数据和预测分析产生了许多误区。尤其是下列的五种误区需要被驱散, 这样不同规模和阶段的企业才可以开始享用更明智、更高效的决策: 误区1: “大数据是灵丹妙药。” 大数据不是企业的灵丹妙药。相反, 更好的数据管理和分析是帮助企业做出更好决策的工具。就算“小数据”也可以为中小企业很好的利用在投资的路线图上，构建和多样化而无需有大型的IT投资。 对一些人来说,自下向上的方法涉及到IT人员和数据分析师实施一种持久的解决方案。 误区5:“我们需要做的就是雇佣咨询或技术公司,我们就会有预测分析。” 有一批企业把预测分析作为一种技术或一个软件问题。
67950发布于 2018-04-18 - 来自专栏随手写个文章
【天穹OS】虚拟表：支持极速查询的下一代湖仓一体新范式
Gartner 技术曲线的描绘中，Lakehouse是一项非常重要技术，预计还有2～5年进入平台期，国内是5～10年。 当今已存在的许多湖仓一体的产品，他们都是非常优秀的架构和技术，下面着重说明一下两大主流湖仓一体方向：基于数据湖的湖仓一体架构，以DeltaLake为代表 [1]如图2，DataLake 作为中央数据湖， 前些年基于维度建模、解决数据孤岛的中央数据仓库大热，所有的数据都在往里灌，存储了海量（ZB）的数据；但是现在业界许多公司的中央数据仓库落后主流技术一两代，在需要迭代升级、降本提效的时候却面临而迁移不动的尴尬 支持的场景4: 天穹数据仓库升级天穹数据仓库在这么多年以来支持公司内各个BG的业务，取得了非常好的业务成果。 虚拟表短期想达到的目标：支持天穹数据仓库极速查询场景一条 SQL 查询天穹数据仓库所有数据，无数据孤岛、体验一体化根据用户指定的成本提供查询体验（速度、稳定性、一致性等）天穹数据仓库无痛升级参考[1]
2.4K212编辑于 2023-10-31 - 来自专栏PPV课数据科学社区
【趋势】大数据和存储领域5大突破技术
从2011年，纽约的startup公司已经成长为开发者服务的第二大云部署平台，为包括亚马逊、谷歌和微软在内的很多大型公司提供简单的、可升级的SSD云服务平台。 同时，共享驾驶App也在爆炸式增长，例如Uber打破了人们对于汽车所有权的传统看法，Lyft和通用汽车也斥资5亿美元研究如何破解自动驾驶汽车共享软件app的代码。 图3：自动驾驶的智能汽车。 只能机器人显然非常吸引人，部分是因为它们在人性化和专业设置方面具有非常大的应用潜力。 基于以上发展趋势，我们不难想见情绪之于我们的移动装置与冷冰冰的数据是同等重要的。 5、大数据简化 大数据可以提供我们前所未有的洞察力，而利用这些数据的关键在于解读和分析。 根据甲骨文公司分析，简单的大数据挖掘工具将要有长足的发展，因为这样分析师可以直接在企业Hadoop集群上购买数据，重新调整并采用机器学习技术进行分析。
2.1K100发布于 2018-04-24 5大YashanDB数据库安全加固策略解析
YashanDB是一种高性能的分布式数据库，安全加固是确保数据库系统安全性和稳健性的关键环节。以下是五大YashanDB数据库安全加固策略的解析：1. 实施监控系统，跟踪所有数据库操作。2. 数据加密- 静态数据加密：对存储在数据库中的敏感数据进行加密，确保即便数据库被入侵，攻击者无法轻易获取明文数据。 - 传输加密：在数据传输过程中使用TLS/SSL等加密协议，保护数据在网络传输中的安全，防止中间人攻击。3. 定期备份与恢复- 数据备份策略：实施定期自动备份并确保备份数据的安全存储。 - 恢复测试：定期进行数据恢复演练，确保在数据丢失或损坏时能够迅速恢复，减少业务中断时间。4. 5. 定期安全更新和补丁管理- 版本管理：定期检查YashanDB及其依赖组件的版本，确保使用最新的安全补丁，以修补已知的安全漏洞。
19910编辑于 2025-11-14- 来自专栏腾讯技术工程官方号的专栏
腾讯 PB 级大数据计算如何做到秒级？
天穹 SuperSQL 是腾讯自研，基于统一的 SQL 语言模型，面向机器学习智能调优，提供虚拟化数据和开放式计算引擎的大数据智能融合平台。 Presto 在腾讯天穹 SuperSQL 大数据生态中，定位为实现秒级大数据计算的核心服务。主要面向即席查询、交互式分析等用户场景。 同时天穹 Presto 使用了 Alluxio 作为数据源（Hive 表、Iceberg 表）的缓存层，用于加速热点数据的访问，可有效提升 Presto 查询的效率。 2.3 Iceberg Connector 功能增强 腾讯天穹实时数仓-数据湖分析系统 DLA 使用了 Iceberg 作为表的数据组织格式，用户数据入湖后，可以通过 Presto Iceberg Connector 5 总结 & 未来工作 天穹 SuperSQL的 vision 是通过构建大数据智能融合平台，将异构的计算引擎/异构的存储服务、计算的自动智能优化、流批一体的统一以及自治的系统运维纳入内部，给使用者提供简单统一的逻辑入口和虚拟化的视图方案
2.1K21编辑于 2022-01-21 - 来自专栏云社区全球资讯抢先看
5大数据挑战正在改变数据中心的面貌
引言：新的数据中心架构提出了新的数据挑战——数据捕获是如何驱动边缘到核心的数据中心架构的。 数据显然不是以前的样子了！各种组织都在寻找数据的新用途，这已经成为他们数字化转型的一部分。 大致来说，我们可以将这些新数据分为两类： 1，大数据：用于批量分析的大量聚合数据集。 2，快数据：来源非常广泛的数据集，这些数据用于做出快速性的决策。 图片] 图片来源于网络 在接下来的文章中，我将介绍新数据中心架构提出的前五大数据挑战 ： 1，数据采集正在推动边缘到核心的数据中心架构 新的数据正在从源头被捕获。 5，数据分析是未来计算密集型体系结构的驱动者 通过分析性质和特别化的机器学习，组织不得不保留更多的数据，以便将其聚合到大数据存储库中。当其应用于多个更大的数据源时，这些分析类型提供了更好的答案。
1.1K20发布于 2017-12-15 - 来自专栏企鹅号快讯
大咖分享：企业营销过程中的大数据5大途径！
今天软件开发的步骤涉及到使用大量的数据来提高效率。 大数据在企业营销中的使用案例 2F 更相关的内容 出版商可以通过利用他们丰富的数据来确定人们最可能喜欢的内容，从而向访问者提供更相关的内容。 5F 以机器为动力的分析 未来，数字营销人员必须与机器携手合作，分析数据并做出基于数据的决策。不管技术发展了多少，总需要一个人来监督它，这在复杂的情况下甚至更真实。 大数据分析领域没有人能独自完成，任何一个软件也不能。两者的结合将比其各部分的总和更强大。 大数据在市场营销中的四大好处 市场营销中的大数据还包括定制软件开发，服务提供商满足客户的营销需求。 如今，营销团队利用数据分析和信息的力量来增强他们的活动的影响力和影响力。看看以下大数据分析在市场营销中的最大好处。 1.规划 数据科学家为市场营销部门提供了对当前情况的极好分析。 营销人员总是在寻找一种使用大数据量的方法，而大数据量每秒钟都会被制作出来。随着数据科学的发展，现在有可能分析大部分的材料，并最终将其转化为富有成效的营销策略。大数据世界很快就会出现新的特性。
1.1K70发布于 2018-01-05 数据清洗，必须掌握的5大解决方案+4大步骤
一、数据清洗是什么及应用场景高质量的数据应用必须建立在干净可靠的基础之上，数据清洗正是数据治理体系中的关键战略环节。当原始数据从采集端流入处理流程，首先需要经历系统性的 “质检” 与 “加工”。 数据清洗是什么？数据清洗是对原始数据进行系统性审查、修正、转换与整合的过程。 具体而言，可能面临以下痛点：数据质量问题复杂多样数据中的“脏”法五花八门，常见的问题包括：（1）空值：某些字段缺失数据。（2）重复数据：同一记录在数据集中多次出现。 （3）错误数据：拼写错误、逻辑错误等。（4）异常值：超出正常范围的数据。（5）格式混乱：日期、数字、文本等格式不一致。（6）不一致数据：跨系统、跨表的数据存在差异。（7）冗余数据：不必要的重复信息。 例如，针对混乱的“利润”字段，如含￥100,000、(5,000)表示负利润，使用公式清洗：公式拆解：（1）判断首位是否为(（表示负数）。（2）若是：去掉￥、,、(、)，并在结果前加负号-。
45210编辑于 2025-09-26- 来自专栏数据猿
【AI大模型展】思必驰DFM大模型——具有通用智能、针对垂域的行业语言大模型
思必驰DFM大模型 该AI大模型由思必驰投递并参与数智猿×数据猿×上海大数据联盟共同推出的《2025中国数智产业AI大模型先锋企业》榜单/奖项评选。 大数据产业创新服务媒体 ——聚焦数据 · 改变商业 思必驰自研的对话式语言大模型DFM（Dialogue Foundation Model），中文直译为“通用对话基础模型”，具备通用语言计算大模型的所有 具体来看，思必驰可为客户提供数据工程、基底模型、训练平台、提示词工程等一系列大模型所需的技术工程资源，并结合客户的高端智算算力、专有场景数据，实现垂直领域的大模型大规模可定制能力，赋能智能汽车、智能家居 技术说明 在规模量级上，思必驰DFM大模型是百亿量级的行业语言大模型，在一些公开数据集的国际测试中，在同等规模的百亿级大模型中，DFM性能明显处于领先优势。 点击文末“阅读原文”链接还可查看思必驰DFM大模型官网 ★以上由思必驰投递申报的项目案例，最终将会角逐由数智猿×数据猿×上海大数据联盟联合推出的《2025中国数智产业AI大模型先锋企业》榜单/奖项。
54910编辑于 2025-10-21 - 来自专栏大数据文摘
5大架构：细数数据平台的组成与扩展
这种方式有一个弊端是存储的数据量受限于内存的大小，数据量一大，索引也增大，数据就饱和了。 2）第二种方式是把大的索引结构，拆成很多小的索引来存储。 列式存储尤其适用于大表扫描，求均值、最大最小值、分组等聚合查询场景。 列式存储在MPP数据库里面应用广泛，例如RedShift、Vertica及hadoop上的Parquet等。这种结构适合需要大表扫描的数据处理问题，数据聚合类操作（最大最小值）更是他的主战场。 列式存储特别适合需要加载大的数据块，且数据块分到多个文件中的场景。Druid把一些近线实时数据放到写优化的存储中，然后随着时间的推移逐步把这些数据迁移到读优化的存储中。 5、流式处理架构 不像是批处理架构，把数据存储到HDFS上，然后在上面执行各种跑批任务。
1.9K80发布于 2018-05-22 YashanDB高效数据管理的5大实用技巧
在当今数据库技术快速发展的环境下，企业面临着日益增长的数据规模和复杂的业务需求，如何有效管理数据库性能瓶颈、保障数据一致性以及实现高可用性，成为数据库系统设计和应用中的关键挑战。 本文面向数据库管理员和系统架构师，围绕YashanDB的关键技术特性，详细解析五大实用技巧，旨在提升数据库的性能、可靠性和灵活性。 分布式SQL执行采用MPP架构，由CN协调节点生成执行计划，DN数据节点分布计算，利用高速内部互联总线完成数据传输和交换，支撑大规模数据处理。 五大实用技巧总结针对不同的业务场景科学选择单机、分布式或共享集群部署，合理调整实例资源配置，提高系统适应性和性能。 通过科学合理的技术应用，用户可有效提升数据库性能、保障数据一致性、实现稳定的业务连续性。
20110编辑于 2025-11-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号