- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯大数据的专栏
腾讯大数据｜天穹SuperSQL执行核心剖析
“随着大数据技术的蓬勃发展，在大数据平台构建过程中也面临着很多挑战和困扰” 1. 数据孤岛：由于历史原因以及不同数据中心的业务差异性，众多异构数据源形成了数据孤岛，导致大量且繁重的人工数据搬迁。 与此同时，由于不同国家的数据安全法限制，很多数据无法搬迁，数据安全和查询效率都难以保证 2. SuperSQL是腾讯自研的统一大数据自适应计算平台，以自适应作为串联，整合了不同的大数据组件。通过开放融合的架构，实现一套系统解决公有云、私有云、内网的大数据痛点问题。 腾讯天穹Presto实现了动态Catalog加载功能，允许在单一SQL中指定多个数据源Catalog，以实现跨源计算。 在天穹体系下，SuperSQL基于Data Fabric技术理念，设计出虚拟表方案实现湖仓一体。 虚拟表的本质是虚拟化，通过Schema虚拟化和数据虚拟化实现湖仓一体的融合。
2.4K51编辑于 2024-04-28 直面“AI曼哈顿计划”，中国科学智能的破局之道
2025年8月，国务院发布了《关于深入实施“人工智能+”行动的意见》将“人工智能+科学技术”列到重点行动首位。 《意见》提出利用人工智能技术加速“从0到1”科学发现的核心引擎，通过科学大模型建设、科研平台智能化升级、高质量科学数据集开放共享，提升跨模态数据处理能力，推动科研范式从线性探索转向智能驱动，助力破解基础学科重大难题 11月，美国紧随而来推出“创世纪计划”，这项被喻为“AI曼哈顿计划”的国家战略，集结全美超算资源与联邦数据，构建从假设提出、模拟计算到实验验证的全链条AI科研平台，重点攻关先进制造、生物技术、关键材料等六大战略领域 从AlphaFold破解蛋白质结构预测难题，到气象大模型提升预测精度，科学智能已展现出颠覆科研范式的巨大潜力，而足量且高质量的科研训练数据与算力基础设施，正是实现这一突破的首要条件。 这种技术优势正转化为实实在在的科研价值，在生物医药领域，“天穹”已推动多款药物进入临床前试验阶段，通过高精度模拟发现新的变构口袋及候选药物分子；在新材料领域，其支撑的电解液数据集成为国家新材料大数据中心门户首批入驻的
12910编辑于 2026-03-19- 来自专栏腾讯大数据的专栏
天穹SuperSQL：腾讯下一代大数据自适应计算引擎
，自适应不同架构下的数据融合计算需求，通过自动数据冷热分层，多级缓存，提升存储访问性能 场景架构自适应：适配多云混合架构，实现最优的跨集群、跨DC、跨云计算路由，打通数据链路，解决数据孤岛 融合计算平台已在天穹落地 由于特征维度大，训练数据多，模型训练慢，因此对特征进行降维。 为此，天穹Presto做了针对性的优化，在动态的计算环境中，通过感知节点算力的变化，自适应地调整计算任务的调度，避免低算力节点的影响。 天穹Presto自适应任务调度主要分为：Task自适应调度与Split自适应调度，方案实现的核心思想是：根据节点的算力情况动态分配Split和Task，整体架构如下图所示： 天穹Presto 每个租户对应一个虚拟K8S集群，每个租户都有最低的资源保障，租户之间能借用资源，也可以借用集群空闲资源。
6K20编辑于 2022-08-26 - 来自专栏腾讯大数据的专栏
天穹SuperSQL如何把腾讯 PB 级大数据计算做到秒级？
天穹SuperSQL是腾讯自研，基于统一的SQL语言模型，面向机器学习智能调优，提供虚拟化数据和开放式计算引擎的大数据智能融合平台。 Presto在腾讯天穹SuperSQL大数据生态中，定位为实现秒级大数据计算的核心服务。主要面向即席查询、交互式分析等用户场景。 关于天穹SuperSQL的介绍，可以查看历史文章：「解耦」方能「专注」——腾讯天穹SuperSQL跨引擎计算揭秘 天穹Presto采用了on K8s容器化部署的方式，具备自动化运维、弹性伸缩等云原生能力 4.2 Presto on K8s Presto on K8s是业界通用的一种部署模式，可以参考社区的presto-kubernetes-operator，天穹Presto根据自身的业务情况做了相应的适配改造 天穹Presto集群有单独的租户资源，能保证集群的资源下限（Dedicated Resource），通过K8s HPA Controller感知Presto Worker的CPU和内存资源使用情况，实现
2.1K51编辑于 2022-01-23 - 来自专栏华章科技
详解数据资产的8大重要特征
从广义上讲，企业拥有的所有数据资源，包括原始数据、中间数据、临时数据、数据类目体系、标签类目体系、标签、标签类目体系方法论等都是数据资产。 ▲图2-12 数据资产运营闭环 以标签为组织载体的数据资产区别于传统的数据资源，具有8个显著而独特的重要特征，如图2-13所示。 ? ▲图2-13 数据资产8大特征 01 能确权 所有的数据资产都应该是由某企业或机构合法取得或有效管理的数据源清洗加工而来，否则不能称为资产。 在大型集团公司中，会划分拥有数据资产归属权、管理权、使用权的角色： 数据源采集、提供部门拥有数据资产的归属权； 数据资产的设计、加工、管理、运营部门拥有数据资产的管理权； 数据资产的使用、消耗部门拥有数据资产的使用权 等到业务人员想要了解数据信息，或数据部门自查数据规范性，又或者若干年后数据人员更迭交接的时候，就会发现存在非常多的数据信息缺项和填写不规范的问题，最终只能进行信息补录或元数据管理。
3.7K30发布于 2021-07-12 - 来自专栏IT知识进阶学习
JAVA自学-8大基础数据类型详解
本篇文章中，我们也将依据此思想，去更加深入地认识JAVA中最基础的八大数据类型，看看它们在JAVA世界中都存在哪些用途。 非常大的整数 -2^63^ ~ 2^63^-1 浮点型 float 4 普通实数 -3.402 823*10^38^ ~ 3.402 823*10^38^ 双精度 double 8 非常大的实数 -1.7977 当我们将低精度的数据类型赋值给高精度的数据类型时，系统会自动完成数据类型的转换(类比思想：将小容量的物体存放到大容量的容器中，当然是没有问题的)，如： 但如果需要将高精度的类型转换成低精度的类型， 那么就会出现精度的丢失，所以必须显示指定类型转换，格式如下：(需要转换的类型)要转换的值 小结 ---- 本篇文章通过类比的方式介绍了JAVA中自带的8大基础数据类型的特点和使用场景，这8大基础类型将伴随着我们整个编程生涯 下一篇我们将介绍如何通过这8大基础数据类型进行相应的算术运算，设计实现一个简单的计算器案例。
1.1K30编辑于 2022-09-13 - 来自专栏大数据文摘
大数据，看贵州！ 贵州大数据产业发展8大看点
2013年下半年，中国电信、联通、移动纷至沓来，三大电信运营商数据中心在贵州开工建设、中关村贵阳科技园成立、富士康第四代产业园落户……这一系列大手笔，正助推贵州迈上“云端”,成为发展大数据产业的黄金宝地 贵州大数据产业发展8大看点 看点一：三大运营商南方数据中心落户贵安新区 2013年10月21日开工建设的中国电信云计算中心总占地500亩，总投资70亿元，一期建成后服务器容量为100万台，2014年底起可陆续投入商用 看点三：山区里的数据中心基地 爽爽贵阳，能源富集，是数据中心基地的理想选择。贵阳和贵安新区的山区较多，使得贵阳的很多数据中心设置在山区。 看点四：大数据为媒，中关村联姻贵阳 2013年9月8日“中关村贵阳科技园”揭牌，为贵阳市发展新一代信息技术产业提供重要支撑，也为大数据产业的发展提供强大支撑。 看点五：贵州省打造千万服务器的大数据集群 三大运营商的数据中心在贵安新区相继建成后，将使贵阳周边特定区域快速集聚20万—30万的机架、百万台的服务器，数据存储规模可达EB以上，随着大数据产业持续发酵，将形成一个千万服务器集群的数据中心基地
1.8K100发布于 2018-05-22 - 来自专栏腾讯技术工程官方号的专栏
腾讯 PB 级大数据计算如何做到秒级？
天穹 SuperSQL 是腾讯自研，基于统一的 SQL 语言模型，面向机器学习智能调优，提供虚拟化数据和开放式计算引擎的大数据智能融合平台。 Presto 在腾讯天穹 SuperSQL 大数据生态中，定位为实现秒级大数据计算的核心服务。主要面向即席查询、交互式分析等用户场景。 关于天穹 SuperSQL 的介绍，可以查看历史文章：「解耦」方能「专注」——腾讯天穹 SuperSQL 跨引擎计算揭秘 天穹 Presto 采用了 on K8s 容器化部署的方式，具备自动化运维、弹性伸缩等云原生能力 4.2 Presto on K8s Presto on K8s 是业界通用的一种部署模式，可以参考社区的presto-kubernetes-operator，天穹 Presto 根据自身的业务情况做了相应的适配改造 天穹 Presto 集群有单独的租户资源，能保证集群的资源下限（Dedicated Resource），通过 K8s HPA Controller 感知 Presto Worker 的 CPU 和内存资源使用情况
2.1K21编辑于 2022-01-21 - 来自专栏张俊红
数据分析师8大经典问题
做数据的同学们，你们在工作中被刁难过吗？有哪些问题是经常遇到，又让人恨得咬牙切齿的呢？从之前同学们吐槽的话题里，我精选了8个高频问题，今天一起来看一下。注意！ 应该多转发一些大数据/数据仓库/数据治理/数据分析的书单、技能树一类，让他们直观体验下“卧槽，这个东西这么复杂呀！” 问题2：“我们的数据可大了，都在那里了，你为啥分析不出来？” 这个问题和上个问题是同胞姐妹，本质都是领导不懂数据，以为有几个数字就是“大数据”了。 如果再加上“没有数据团队”，或者“你自己孤悬于数据团队以外”这一条，请谨慎入职，你会被PUA到怀疑人生的。 问题3：“数据不是数据分析的事吗，为啥要我参与？” 注意，这一句是疑问句，不是反问句。 问题8：“你怎么证明，你做的分析和公司业绩提升有关系！” 这个问题一般在考核绩效的时候才冒出来。听到问题的时候，都会让人恨得咬牙切齿，好想骂一句：“当初求数像条狗，看完数据嫌人丑！”
59860编辑于 2023-03-21 - 来自专栏数据猿
【AI大模型展】思必驰DFM大模型——具有通用智能、针对垂域的行业语言大模型
思必驰DFM大模型 该AI大模型由思必驰投递并参与数智猿×数据猿×上海大数据联盟共同推出的《2025中国数智产业AI大模型先锋企业》榜单/奖项评选。 大数据产业创新服务媒体 ——聚焦数据 · 改变商业 思必驰自研的对话式语言大模型DFM（Dialogue Foundation Model），中文直译为“通用对话基础模型”，具备通用语言计算大模型的所有 具体来看，思必驰可为客户提供数据工程、基底模型、训练平台、提示词工程等一系列大模型所需的技术工程资源，并结合客户的高端智算算力、专有场景数据，实现垂直领域的大模型大规模可定制能力，赋能智能汽车、智能家居 点击文末“阅读原文”链接还可查看思必驰DFM大模型官网 ★以上由思必驰投递申报的项目案例，最终将会角逐由数智猿×数据猿×上海大数据联盟联合推出的《2025中国数智产业AI大模型先锋企业》榜单/奖项。 该榜单最终将于9月8日北京举办的“2025第五届数智化转型升级发展论坛——暨AI大模型&AI Agent趋势论坛”现场首次揭晓榜单，并举行颁奖仪式，欢迎报名莅临现场：
54910编辑于 2025-10-21 - 来自专栏CDA数据分析师
大数据在企业运营中的8大落地应用
制造，即运营管理是供应链的四大环节之一，负责规划，组织，管理所有制造产品所需要的资源，包括设备，人力，技术，流程，信息等。 笔者结合自己企业的发展和管理，以及大量客户和机构的研究与实践，提出了大数据在企业运营管理过程中可落地的八大应用场景： 1消费者需求分析 很多企业管理者都意识到了消费者再也不是营销产品的被动接收器了，通过大数据来了解并设计消费者的需求的产品 借助大数据，我们对采集来的企业内部(内源数据)，例如销售网点的数据，消费者直接反馈等，与外部数据(外源数据)，例如社交媒体的评论，描述产品用途的传感器数据等，通过微观细分，情感分析，消费者行为分析以及基于位置的营销等手段 利用大数据的实时数据分析，将数字勾勒出来的消费者偏好转化成为有形的产品特点，利用数据设计产品，实现研发与运营共享数据，共同参与产品设计的改进和调整。 这一切都源自于100%数据驱动的，尽可能避免主观判断和推测。 8资产智能管理 物联网(IOT)的发展以及感应技术的兴起，为我们开创了一个能紧密连接物理空间许多事物的信息网络。
3.4K60发布于 2018-02-24 YashanDB数据库的8大技术亮点与实践
YashanDB 是一种新兴的数据库解决方案，具有多项技术亮点和实际应用价值。以下是 YashanDB 的八大技术亮点与实践：1. 高性能和低延迟：YashanDB 采用了高效的数据存储和索引算法，能够提供极高的查询性能和低延迟响应。这使得它在高并发场景下仍能保持快速的数据处理能力。2. 智能的数据分片：YashanDB 具备自动数据分片的能力，能够根据数据的热点和负载情况进行动态调整，确保负载均衡和资源的高效利用。7. YashanDB 的生态系统支持与流行的大数据和机器学习框架集成，便于数据分析和处理。8. 安全性和数据隐私：YashanDB 提供了多层次的安全机制，包括数据加密、访问控制和审计日志等，确保数据在存储和传输过程中的安全性，同时满足行业合规要求。
11610编辑于 2025-11-20- 来自专栏随手写个文章
【天穹OS】虚拟表：支持极速查询的下一代湖仓一体新范式
当今已存在的许多湖仓一体的产品，他们都是非常优秀的架构和技术，下面着重说明一下两大主流湖仓一体方向：基于数据湖的湖仓一体架构，以DeltaLake为代表 [1]如图2，DataLake 作为中央数据湖， 前些年基于维度建模、解决数据孤岛的中央数据仓库大热，所有的数据都在往里灌，存储了海量（ZB）的数据；但是现在业界许多公司的中央数据仓库落后主流技术一两代，在需要迭代升级、降本提效的时候却面临而迁移不动的尴尬 如图8，用户可以像使用天穹数据仓库表的方式使用虚拟表，虚拟表屏蔽异构计算和异构存储，提供统一的SQL查询出/入口。 支持的场景4: 天穹数据仓库升级天穹数据仓库在这么多年以来支持公司内各个BG的业务，取得了非常好的业务成果。 虚拟表短期想达到的目标：支持天穹数据仓库极速查询场景一条 SQL 查询天穹数据仓库所有数据，无数据孤岛、体验一体化根据用户指定的成本提供查询体验（速度、稳定性、一致性等）天穹数据仓库无痛升级参考[1]
2.4K212编辑于 2023-10-31 - 来自专栏GEE数据专栏，GEE学习专栏，GEE错误集等专栏
Landsat 8 Landsat8 Collection2大气层顶反射率数据
简介 Landsat8 TOA数据集是将数据每个波段的辐射亮度值转换为大气层顶表观反射率TOA，是飞行在大气层之外的航天传感器量测的反射率，包括了云层、气溶胶和气体的贡献，可通过辐射亮度定标参数、太阳辐照度 数据集ID: LC08/02/T1 时间范围: 2022年01月-现在 范围: 全国 来源: USGS 复制代码段: var images = pie.ImageCollection("LC08/02 collection2 TOA影像 */ // 加载Landsat 8 TOA影像 var landsat8 = pie.ImageCollection("LC08/02/T1") Map.addLayer(landsat8,{min:0.05,max:0.3,bands:["B4","B3","B2"]},"Landsat8-TOA"); Map.centerObject(landsat8,7 landsat_product_id string 影像名称 scene_id string 影像id correction string 产品级别 collection_number string 数据集编号
50000编辑于 2024-05-24 - 来自专栏灯塔大数据
8大数据看2016车市风水流转
2016年中国汽车产销均超2800万辆，连续8年蝉联全球第一。而在另一半球的美国，2016全年销量约为1754万辆，保持了7年的连续增长。 在美国，皮卡和SUV支撑车市主要数据。《美国汽车新闻》的新年评论中悲观地认为：“这种增长在2017年很难持续，因为低油价即将结束，皮卡和SUV的好日子不多了。” SUV在多年连续高速增长之后再次全线飘红，据乘用联的数据，去年SUV市场全年销量高达902.3万辆，占乘用车销量的38.2%，增速高达47.1%！ 汉兰达的热卖、大7座SUV途观L的推出都是信号。 6 .2%B级车现颓势市占比创新低 今年合资品牌B级车表现一般，市场的动荡让B级车局被动混乱。 今年车辆购置税优惠幅度也正式由5%退坡至2.5%，对于A级车来说也是一大挑战，车厂如何迎战？我们拭目以待。 84%新能源车销量增幅突飞猛进 根据乘联会发布的2016年新能源汽车市场的销售情况。
80550发布于 2018-04-08 数据清洗怎么做？一文总结8大数据清洗方法
数据清洗就是把原始数据里的错误改掉、把格式标准统一、补齐缺失的部分，最终让数据完整、统一、真实有效，能直接拿来分析、建模。 很多人花大量时间研究模型、算法，可真到了实际项目里，卡住他们的往往不是模型选的对不对，而是数据不干净、不能用。今天我给大家总结了最实用的8大数据清洗方法，能帮你解决绝大多数场景下的数据问题。 二、处理重复数据数据重复是数据整合、多源采集过程中的高频问题，同一数据记录多次录入、多平台同步冗余，会直接导致数据统计失真、计算结果偏大。 数据类型转换，就是将数据统一为标准格式、规范数据类型，让数据具备可计算、可匹配、可分析的基础属性。 五、标准化与归一化实际数据中，不同字段的数值范围、量纲差异极大，比如身高以厘米为单位、收入以元为单位，数值跨度差距很大，这类数据直接用于分析或建模，会导致数值大的字段占据主导地位，影响结果公平性。
1K10编辑于 2026-03-19- 来自专栏深度学习与python
天穹SuperSQL：腾讯下一代大数据自适应计算引擎 | 文末送书
由于特征维度大，训练数据多，模型训练慢，因此对特征进行降维。 为此，天穹 Presto 做了针对性的优化，在动态的计算环境中，通过感知节点算力的变化，自适应地调整计算任务的调度，避免低算力节点的影响。 天穹 Presto 自适应任务调度主要分为：Task 自适应调度与 Split 自适应调度，方案实现的核心思想是：根据节点的算力情况动态分配 Split 和 Task，整体架构如下图所示： 天穹 Presto 每个租户对应一个虚拟 K8S 集群，每个租户都有最低的资源保障，租户之间能借用资源，也可以借用集群空闲资源。 8 总结 & 未来规划 未来 SuperSQL 会持续专注在统一融合计算平台中，打造更快、更稳定、更易用的大数据自适应智能计算架构，具体会在以下方向上持续探索潜力： 计算任务自适应优化：根据任务本身的特点和历史相似任务的执行状态
1.6K10编辑于 2023-03-29 - 来自专栏Java,后端开发,网站开发,数据结构,算法分析.
数据结构-8.Java. 七大排序算法(上篇)
内部排序 ：数据元素全部放在内存中的排序。 外部排序 ：数据元素太多不能同时放在内存中，根据排序过程的要求不能在内外存之间移动数据的排序。 1.3 常见的排序算法 2. 遍历数组, 在内循环中, tmp 与 array[ j ] 进行比较,, 若是 tmp 小 则 [ j + 1] = [ j ]; 若是 tmp 大 则 直接 break; 3. 稳定性：不稳定 2.2.3 堆排序 堆排序 (Heapsort) 是指利用堆积树（堆）这种数据结构所设计的一种排序算法，它是选择排序的一种。它是通过堆来进行选择数据。 int end) { int child = (parent*2)+1; while(child < end) { //保证右子树存在并且当右子树大的时候 parent = child; child = parent*2+1; }else { //本身就是大根堆
28010编辑于 2024-11-20 - 来自专栏SDNLAB
2020年数据中心值得关注的8大趋势
由于新物联网设备和边缘计算需求的激增，数据中心正变得越来越重要，到2020年海量数据需求将达到新的水平。 在过去的8年里，企业在自己的数据中心硬件和软件上的支出一直停滞不前，而在云基础设施服务(如平台即服务和托管私有云)上的支出则大幅增加。 亚马逊继续投资数据中心 无论哪个角度来看，亚马逊都可以说是2019年最大的数据中心赢家。 ? 去年12月底，亚马逊首次推出数据中心硬件架构AWS Outposts。 “数据中心即服务”获得真正的吸引力 全球所有主要的数据中心供应商都认为，客户将希望以一种“ as-a-service”的方式购买和管理其数据中心基础设施。 原文链接： https://www.crn.com/slide-shows/data-center/8-biggest-data-center-trends-and-technologies-to-watch-for-in
1.1K10发布于 2020-02-21 - 来自专栏灯塔大数据
2016年大数据专家值得期待的8件事
当然，这在聘用大数据专家时也一样奏效。数据质量总监、软件工程师、平台软件工程师、数据库工程师、大数据平台工程师，安全分析师，分析师和信息系统开发管理工作这些职位都需要精通大数据。 很明显，大数据在接下来的发展的中将变成“更大的”数据。 ? 在此列举八件2016年大数据专家值得期待的事： 1. 而在加利福尼亚州，大数据工作是最吃香的。尤其在大湾区的弗里蒙特、桑尼维尔、奥克兰、三藩、圣克拉 拉和圣若泽。 3. 销售代表一职的需求量 “暴涨”这个词常拿来形容大数据解决方案的销量。 更多行业将用到大数据 多个行业将需要大数据专家，比如：制造业、金融保险业、零售业、信息技术，以及其他科学及技术服务业。专家们认为，像制造业这样的垂直市场的投资回报率是最高的。 8. 大数据是量化的主观事物 2016年会有越来越多的有关大数据的职位，因为大数据本身每年都在不断的更新。它不只是用来处理数据，或者解释人们暗号交流这样的非语言交际线索（比如声音、手势和表情）。
52160发布于 2018-04-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号