- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯大数据的专栏
腾讯大数据｜天穹SuperSQL执行核心剖析
SuperSQL是腾讯自研的统一大数据自适应计算平台，以自适应作为串联，整合了不同的大数据组件。通过开放融合的架构，实现一套系统解决公有云、私有云、内网的大数据痛点问题。 SuperSQL不仅维护各个数据源对应的临时视图子句的列表，也会维护基于临时视图改写后的最终执行SQL 2.引擎注册临时视图：在执行阶段，基于维护的临时视图列表，并发执行Spark临时视图注册 3.执行改写跨源 腾讯天穹Presto实现了动态Catalog加载功能，允许在单一SQL中指定多个数据源Catalog，以实现跨源计算。 在天穹体系下，SuperSQL基于Data Fabric技术理念，设计出虚拟表方案实现湖仓一体。 虚拟表的本质是虚拟化，通过Schema虚拟化和数据虚拟化实现湖仓一体的融合。 ，并优化分层存储；自动将低频访问的分区数据降冷到数据湖 3.数据湖加速查询：基于引擎智能选择自动提效到StarRocks数仓引擎执行 4.湖仓分层建模：用户无需关注特定的湖表和仓表，可通过配置不同表模型
2.4K51编辑于 2024-04-28 直面“AI曼哈顿计划”，中国科学智能的破局之道
《意见》提出利用人工智能技术加速“从0到1”科学发现的核心引擎，通过科学大模型建设、科研平台智能化升级、高质量科学数据集开放共享，提升跨模态数据处理能力，推动科研范式从线性探索转向智能驱动，助力破解基础学科重大难题 从AlphaFold破解蛋白质结构预测难题，到气象大模型提升预测精度，科学智能已展现出颠覆科研范式的巨大潜力，而足量且高质量的科研训练数据与算力基础设施，正是实现这一突破的首要条件。 2025年12月初，思朗科技首次公开发布了基于自研MaPU（代数运算处理器）架构研制的“天穹”3D 科学计算机（简称“天穹”），为国内科学智能发展提供了关键基础设施支撑。 AI-Ready材料数据集，为锂电池等新材料研发注入算力动能，与此同时，3D科学计算机“天穹”的应用边界仍在持续拓展，为我国基础科学探索注入持久算力动能，为各领域科技突破提供全场景支撑。 “天穹” 3D科学计算机的出现，不仅为国内科研团队提供了自主可控的算力平台，更在全球科技竞争中展现了“中国方案”的实力。
12910编辑于 2026-03-19- 来自专栏腾讯大数据的专栏
天穹SuperSQL：腾讯下一代大数据自适应计算引擎
SuperSQL作为腾讯大数据智能计算平台的入口和决策中心，整合不同的大数据系统组件，旨在解决传统大数据架构下的痛点和难点问题，诸如大数据的语言门槛高、大数据引擎多而杂、大数据计算链路长而复杂、资源利用率低 ，自适应不同架构下的数据融合计算需求，通过自动数据冷热分层，多级缓存，提升存储访问性能 场景架构自适应：适配多云混合架构，实现最优的跨集群、跨DC、跨云计算路由，打通数据链路，解决数据孤岛 融合计算平台已在天穹落地 由于特征维度大，训练数据多，模型训练慢，因此对特征进行降维。 为此，天穹Presto做了针对性的优化，在动态的计算环境中，通过感知节点算力的变化，自适应地调整计算任务的调度，避免低算力节点的影响。 天穹Presto自适应任务调度主要分为：Task自适应调度与Split自适应调度，方案实现的核心思想是：根据节点的算力情况动态分配Split和Task，整体架构如下图所示： 天穹Presto
6K20编辑于 2022-08-26 - 来自专栏腾讯大数据的专栏
天穹SuperSQL如何把腾讯 PB 级大数据计算做到秒级？
天穹SuperSQL是腾讯自研，基于统一的SQL语言模型，面向机器学习智能调优，提供虚拟化数据和开放式计算引擎的大数据智能融合平台。 Presto在腾讯天穹SuperSQL大数据生态中，定位为实现秒级大数据计算的核心服务。主要面向即席查询、交互式分析等用户场景。 select t1.b, /*+mapjoin(t1,t3)*/ t2.b2, t3,b3 from test1 t1 join test2 t2 on t1.a = t2.a2 join test3 t3 on t1.a=t3.a3; 由于原生Presto不支持数值类型与字符串之间的隐式转换，为了兼容部分习惯于使用隐式转换的用户，天穹Presto在引擎侧做了增强，以支持类似于Hive语法中隐式转换的功能 3 稳定性提升 3.1 JVM调优 Presto在天穹上线运行的过程中，遇到过Worker Full GC停顿时间过长的问题，为此天穹Presto将JDK版本升级到了11（参考社区issue 14873
2.1K51编辑于 2022-01-23 - 来自专栏听雨堂
测试数据——猜想大验证（3）
有数据，不妨测试一下，非常有趣： 1.各个信用等级的逾期率 其他的都比较符合预期，但A的偏高，我也很纳闷，把数据调出来，从高到低排是这样的： 借的量巨大，一旦逾期，在整个逾期率的计算中必然拖累整体。 看来数据没啥毛病。将来对选择标的进行模拟时，如果加上金额限制，同样没啥问题。如限制借款上限为6000，则逾期率就降低很多： 2.性别，女人比男人靠谱 3.借期，6月和12月是主体，但6月明显逾期率低。
1.2K100发布于 2018-01-23 - 来自专栏技术翻译
大数据Python：3大数据分析工具
pd.read_csv('access_logs_parsed.csv', quotechar="'", names=headers) 大约一秒后它应该回复： [6844 rows x 4 columns] In [3] 15 +000... 2 2018-08-01 17:10 www2 www_access 108.162.238.234 - - [01/Aug/2018:17:10:22 +000... 3 admintome resolves to a loopback address: 127.0.1.1; using 192.168.1.153 instead (on interface enp0s3) --------+----+----------+--------------------+ | _c0| _c1| _c2| _c3| 原文标题《Big Data Python: 3 Big Data Analytics Tools》 作者：Bill Ward 译者：February 不代表云加社区观点，更多详情请查看原文链接
5K20发布于 2018-12-13 - 来自专栏腾讯技术工程官方号的专栏
腾讯 PB 级大数据计算如何做到秒级？
天穹 SuperSQL 是腾讯自研，基于统一的 SQL 语言模型，面向机器学习智能调优，提供虚拟化数据和开放式计算引擎的大数据智能融合平台。 select t1.b, /*+mapjoin(t1,t3)*/ t2.b2, t3,b3 from test1 t1 join test2 t2 on t1.a = t2.a2 join test3 t3 on t1.a=t3.a3; 由于原生 Presto 不支持数值类型与字符串之间的隐式转换，为了兼容部分习惯于使用隐式转换的用户，天穹 Presto 在引擎侧做了增强，以支持类似于 Hive 语法中隐式转换的功能 3 稳定性提升 3.1 JVM 调优 Presto 在天穹上线运行的过程中，遇到过 Worker Full GC 停顿时间过长的问题，为此天穹 Presto 将 JDK 版本升级到了 11（参考社区 issue 3 倍的查询性能提升。
2.1K21编辑于 2022-01-21 - 来自专栏随手写个文章
【天穹OS】虚拟表：支持极速查询的下一代湖仓一体新范式
当今已存在的许多湖仓一体的产品，他们都是非常优秀的架构和技术，下面着重说明一下两大主流湖仓一体方向：基于数据湖的湖仓一体架构，以DeltaLake为代表 [1]如图2，DataLake 作为中央数据湖， 前些年基于维度建模、解决数据孤岛的中央数据仓库大热，所有的数据都在往里灌，存储了海量（ZB）的数据；但是现在业界许多公司的中央数据仓库落后主流技术一两代，在需要迭代升级、降本提效的时候却面临而迁移不动的尴尬 支持的场景4: 天穹数据仓库升级天穹数据仓库在这么多年以来支持公司内各个BG的业务，取得了非常好的业务成果。 虚拟表短期想达到的目标：支持天穹数据仓库极速查询场景一条 SQL 查询天穹数据仓库所有数据，无数据孤岛、体验一体化根据用户指定的成本提供查询体验（速度、稳定性、一致性等）天穹数据仓库无痛升级参考[1] Databricks Lakehouse[2] Snowflake Architecture[3] 数据虚拟化 Wikipedia 链接[4] 数据虚拟化产品 denodo 链接[5] 大数据架构系列：
2.4K212编辑于 2023-10-31 - 来自专栏数据猿
【AI大模型展】思必驰DFM大模型——具有通用智能、针对垂域的行业语言大模型
思必驰DFM大模型 该AI大模型由思必驰投递并参与数智猿×数据猿×上海大数据联盟共同推出的《2025中国数智产业AI大模型先锋企业》榜单/奖项评选。 大数据产业创新服务媒体 ——聚焦数据 · 改变商业 思必驰自研的对话式语言大模型DFM（Dialogue Foundation Model），中文直译为“通用对话基础模型”，具备通用语言计算大模型的所有 具体来看，思必驰可为客户提供数据工程、基底模型、训练平台、提示词工程等一系列大模型所需的技术工程资源，并结合客户的高端智算算力、专有场景数据，实现垂直领域的大模型大规模可定制能力，赋能智能汽车、智能家居 （3）体验专精化 基于DFM大模型能力升级推出的DUI2.0平台，对基于深度认知的通用语义理解、外部信源增强的精准推理决策、基于文档理解的可信主动知识问答、面向用户个性化的多人设交互、面向复杂任务的自动流程规划与执行人机交互五大核心能力进行提升 点击文末“阅读原文”链接还可查看思必驰DFM大模型官网 ★以上由思必驰投递申报的项目案例，最终将会角逐由数智猿×数据猿×上海大数据联盟联合推出的《2025中国数智产业AI大模型先锋企业》榜单/奖项。
54910编辑于 2025-10-21 - 来自专栏数据科学与人工智能
3月20日数据动态早报 | 大健康，大数据
数据动态早报，让您了解数据新变化、新创造和新价值。 一、通信行业数据动态 1 5G网络一旦正式商用，除了会使通信业进入新一轮发展期外，还将带动多个规模万亿级别的新兴产业。 多个市场机构预测，车联网、大数据、云计算、智能家居、无人机等典型的物联网细分行业，在技术和应用层面上已相当成熟，但现有4G网络的通讯能力大大限制了上述产业的发展。 【腾讯科技】 二、电子商务数据动态 1 所谓新零售就是个性化地提供服务，线上、线下形式不重要，本质是从传统的品牌、商品、通路、营销等大规模、工业化和大众化转向个性化定制服务。 【南方都市报】 三、互金行业数据动态 1 宜人贷发布金融科技能力共享平台，将向行业内其他机构输出“数据获取”“反欺诈”“精准获客”三大能力，解决目前普遍存在的投资人信用意识薄弱、权威信用评级缺失和团伙欺诈等问题 【人民日报】 四、医疗健康数据动态 1 中国数亿人群日常工作繁忙，节奏极快，身体或多或少处于亚健康状态，存在强大的养生刚需。【大公网】
78170发布于 2018-02-28 - 来自专栏深度学习与python
天穹SuperSQL：腾讯下一代大数据自适应计算引擎 | 文末送书
3引擎选择自适应：智能选择引擎，加速 SQL 计算 智能引擎选择是自适应智能计算的核心功能之一，作为决策中心，SuperSQL 通过组合算法，自动为每条用户 SQL，挑选合适的不同类型的计算引擎（如 宽表的每一条记录对应一条历史 SuperSQL 查询，包括查询签名、执行时间、引擎类型、结果状态、数据量、引擎 shuffle 数据等信息。 3. 由于特征维度大，训练数据多，模型训练慢，因此对特征进行降维。 为此，天穹 Presto 做了针对性的优化，在动态的计算环境中，通过感知节点算力的变化，自适应地调整计算任务的调度，避免低算力节点的影响。 天穹 Presto 自适应任务调度主要分为：Task 自适应调度与 Split 自适应调度，方案实现的核心思想是：根据节点的算力情况动态分配 Split 和 Task，整体架构如下图所示： 天穹 Presto
1.6K10编辑于 2023-03-29 - 来自专栏腾讯大数据的专栏
腾讯天穹 StarRocks 一站式湖仓融合平台架构揭秘
作者：腾讯大数据 高级工程师 陈九天 导读： 腾讯天穹是协同腾讯内各 BG 大数据能力而生的 Oteam，作为腾讯大数据领域的代名词，旨在拉通大数据各个技术组件，打造一个具有统一技术栈的公司级大数据平台体系 我们总结了以下 3 点： 湖仓之间的数据如何更好的互相流转？ 如何在查询时融合湖仓两套系统，不仅仅是用 StarRocks 去查数据湖？ 湖仓建模的链路过于复杂，是不是可以进一步简化？ 天穹 StarRocks 的解决方案 01、湖仓数据流转 对于湖仓相互流转，其实我们可以拓展出两个场景： 湖入仓的场景，将数据湖中的数据导入到 StarRocks，用来加速查询。 08、天穹 StarRocks 湖仓融合架构 通过解决以上问题，我们构建了天穹 StarRocks 湖仓融合架构的最终形态。 同时我们也会基于天穹 OMS 的元数据更新机制去实现外表物化视图的增量更新。 在产品化的方面，天穹 StarRocks 将借助于 WeDATA 的产品能力，为用户提供更好的湖仓融合服务。
1.9K10编辑于 2024-03-07 YashanDB数据库引领企业数据智能化3大趋势
随着企业数据量的爆炸式增长及业务场景的多样化，传统数据库面临着性能瓶颈、数据一致性难以保障及扩展性不足等核心挑战。如何高效管理和利用数据资产，成为推动企业数字化转型和智能化发展的关键。 本文以YashanDB数据库为切入点，深入探讨其在引领企业数据智能化的三大趋势，着重解析其先进的架构设计、核心技术及应用优势，旨在帮助数据库管理员、架构师及技术决策者理解最新的数据库技术发展，助力企业构建可信赖且高效的数据基础设施 先进的高可用与安全策略，为企业智能化数据管理提供坚实屏障，构筑数据资产安全与业务弹性的核心基石。 充分利用多样化存储引擎，针对热点和历史数据分别采用MCOL和SCOL结构，提升实时查询和海量数据分析性能。 面向未来，技术人员应持续关注数据库技术创新，深入掌握先进架构和算法，推动企业数据智能化建设迈上新台阶。
21710编辑于 2025-09-24- 来自专栏韩曙亮的移动开发专栏
【AI 大模型】Meta Llama 3 大模型 ( Llama 3 大模型简介 | Ollama 软件下载安装 | Llama3 模型下载 | Llama 3 大模型 在线 离线 使用 )
首先 , 安装 Ollama 软件 , 到 https://ollama.com/ 下载安装 ; 然后 , 运行 ollama run llama3 命令 , 即可开始使用 Llama3 大模型 ; 一 、Meta Llama 3 大模型安装 1、Llama 3 大模型简介 Llama 3 大模型 是 Meta 公司 发布的 大模型 , Meta 公司 就是 Facebook ; Llama 3 大模型 Llama3 大模型 ; 下载的模型放在了 C:\Users\用户名.ollama 目录中 , 在我的电脑上的路径是 C:\Users\octop.ollama ; 这个模型很大 , 有 4.7 G 安装完成后的效果 for help) 二、Meta Llama 3 大模型使用 1、Llama 3 大模型在线使用 在命令行中 , 可以直接进行对话 , 下面是对话内容 : D:\Llama>ollama run llama3 for help) 2、Llama 3 大模型离线使用 Llama 3 大模型 联网时 , 可以访问云端服务 , 可以生成更加丰富的文本 ; Llama 3 大模型 在 断网后也可以使用 , 下面是断开网络后
1.7K12编辑于 2024-08-09 - 来自专栏腾讯大数据的专栏
天穹DOP 在腾讯广告经营数仓场景的应用实践
识别并区分出热点和非热点数据后，通过天穹 DOP Cache 路径级的黑白名单能力，就可以保证热点数据访问 DOP Cache，非热点数据直接访问底层存储。 对于热点数据，天穹 DOP Cache 通过高性能 SSD 介质和 IO 隔离能力，可以提升读取性能。 另外，天穹 DOP Cache 为上层应用提供了 Hadoop API 、Posix 以及 S3 等多种接入方式，经营数仓只需要进行少量改造即可接入，任务 SQL 不需要任何变动。 /Presto 等引擎进行数据分析，天穹DOP Cache 集群作为数据缓存层，负责热点数据的缓存，承接热数据 IO，整体架构如图： 2.DOP Cache 智能缓存管理与性能优化功能 基于 ZK 的黑白名单功能 3.基于Journal tailer的数据一致性方案 数据一致性问题是缓存架构面临的突出问题。经营数仓场景采用读写分离的架构：写流量落盘持久化存储，读流量接入缓存。这种场景需要考虑数据一致性与实时性。
63810编辑于 2024-06-27 - 来自专栏python3
java面试大总结（3）
3、int Integer 的区别： Java 提供两种不同的类型：引用类型和原始类型（或内置类型）。Int是java的原始数据类型，Integer是java为int提供的封装类。 3 在控制器调用具体的Action的Execute方法之前，ActionForm对象将利用Http请求中的参数来填充自已。 3、 多线程的优点 答：可分两方面来答： ? 相对于单线程而言 ： 可以响应多任务的并发操作。 7、 面向对象的特点 答：面向对象有三大特点：封装、继承、多态。 3 可以在不暴露对象的类的前提下，暴露对象的编程接口。 4 不用强迫类关系在无关类中截获相似处(采用适配器就可以了)。 5 声明想执行的一个或多个方法。
67520发布于 2020-01-07 - 来自专栏python3
openstack的3大组件
对象存储支持多种应用，比如复制和存档数据，图像或视频服务，存储次级静态数据，开发数据存储整合的新应用，存储容量难以估计的数据，为Web应用创建基于云的弹性存储。 Glance，是一个虚拟机镜像的存储、查询和检索系统，服务包括的RESTfulAPI允许用户通过HTTP请求查询VM镜像元数据，以及检索实际的镜像。 VM镜像有四种配置方式：简单的文件系统，类似OpenStackObjectStorage的对象存储系统，直接用Amazon'sSimpleStorageSolution(S3)存储，用带有ObjectStore 的S3间接访问S3。
73020发布于 2020-01-09 - 来自专栏机器学习/数据可视化
3大利器详解-mapapplyapplymap
Pandas三大利器-map、apply、applymap 我们在利用pandas进行数据处理的时候，经常会对数据框中的单行、多行（列也适用）甚至是整个数据进行某种相同方式的处理，比如将数据中的sex字段中男替换成 本文中介绍了pandas中的三大利器：map、apply、applymap来解决上述的需求。 ? 模拟数据 通过一个模拟的数据来说明3个函数的使用，在这个例子中学会了如何生成各种模拟数据。 axis=0代表操作对列columns进行，axis=1代表操作对行row进行 demo 上面的数据中将age字段的值都减去3，即加上-3 def apply_age(x,bias): return df.copy() # df4["age"]当做第一个值传给apply_age函数，args是第二个参数 df4["age"] = df4["age"].apply(apply_age,args=(-3, applymap DF数据加1 applymap函数用于对DF型数据中的每个元素执行相同的函数操作，比如下面的加1： ? 保留2位有效数字 ?
98510发布于 2021-03-01 实时数据可视化与3D数据大屏设计深度分析
RayData 数据大屏设计 RayData同样提供全面的数据大屏设计能力，支持拖拽式界面设计。 3D场景渲染 RayData的3D渲染技术能够将数据以三维形式展现，提供沉浸式的数据体验。 低代码可视化分析 数据大屏设计 低代码可视化分析平台通过低代码方式，快速搭建数据大屏。 3D场景渲染 支持3D场景渲染，将数据以三维形式展示。 实时数据接入 能够实时接入数据，保证数据的动态更新。 数字孪生可视化 数据大屏设计 数字孪生可视化专注于构建数字孪生模型，提供数据大屏设计能力。 3D场景渲染 通过3D场景渲染技术，实现数字孪生模型的高精度可视化。 3D数据可视化 数据大屏设计 3D数据可视化专注于3D数据的展示，提供数据大屏设计能力。 3D场景渲染 3D场景渲染是其核心功能，提供高质量的三维数据展示。 数据动画 支持数据动画，使3D数据变化过程更加直观。 自定义组件 允许自定义组件，增强3D数据大屏的功能性。
36010编辑于 2025-07-28实时数据可视化与3D数据大屏设计深度分析
本文将对腾讯云的RayData、低代码可视化分析、数字孪生可视化以及3D数据可视化等产品进行介绍和对比，重点探讨数据大屏设计、3D场景渲染、实时数据接入、多屏互动、可视化模板、数据动画和自定义组件等核心能力 低代码可视化分析 数据大屏设计 低代码可视化分析允许用户通过拖拽组件的方式快速构建数据大屏，简化了设计流程。 3D场景渲染 虽然低代码可视化分析不提供3D渲染功能，但它通过二维图表和地图等元素增强数据的可视化效果。 实时数据接入 低代码可视化分析支持实时数据接入，可以实时更新数据大屏上的信息。 3D数据可视化 数据大屏设计 3D数据可视化专注于3D数据的展示，提供了丰富的数据大屏设计工具。 3D场景渲染 3D数据可视化具备强大的3D场景渲染能力，能够将数据以三维形式生动展现。 总结 数据大屏设计、3D场景渲染、实时数据接入、多屏互动、可视化模板、数据动画和自定义组件是现代数据可视化产品的核心能力。这些能力不仅提升了数据的展示效果，也增强了数据的交互性和实时性。
22210编辑于 2025-07-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号