- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯大数据的专栏
腾讯大数据｜天穹SuperSQL执行核心剖析
用户需要根据不同数据量与响应耗时手动挑选不同的计算引擎，随后业务将强耦合且固化在特定引擎之上，不同引擎间的切换代价巨大 4. SuperSQL是腾讯自研的统一大数据自适应计算平台，以自适应作为串联，整合了不同的大数据组件。通过开放融合的架构，实现一套系统解决公有云、私有云、内网的大数据痛点问题。 腾讯天穹Presto实现了动态Catalog加载功能，允许在单一SQL中指定多个数据源Catalog，以实现跨源计算。 在天穹体系下，SuperSQL基于Data Fabric技术理念，设计出虚拟表方案实现湖仓一体。 虚拟表的本质是虚拟化，通过Schema虚拟化和数据虚拟化实现湖仓一体的融合。 ，并优化分层存储；自动将低频访问的分区数据降冷到数据湖 3.数据湖加速查询：基于引擎智能选择自动提效到StarRocks数仓引擎执行 4.湖仓分层建模：用户无需关注特定的湖表和仓表，可通过配置不同表模型
2.4K51编辑于 2024-04-28 - 来自专栏木东居士的专栏
闲聊4年大数据经历
0x00 前言 周末闲来无事，想到从13年接触大数据这个名词，到现在也有4年的时间了，随便聊一聊自己和大数据接触的那些经历。 0x01 大数据 “什么是大数据？” ，和数据相关的技术也都数据大数据。 2016年初 然后到了16年初，感觉机器学习突然间火起来了，突然间大数据的概念就被割裂出去了一大部分，机器学习和数据挖掘这部分和算法强相关的内容一下子就不属于大数据这个概念了。 然后数据量一下暴增了，一天要处理的数据增到了百亿的级别，很多任务的数据量都超过了千亿，。下子问题就大了，遇到了很多的挑战，比如数据倾斜、数据丢失、数据读写影响这些问题。 大规模数据的处理是一个非常大的课题，但是这一点更偏向于是搞技术的。 我们在做大数据的时候也更应该有数据的理解，这里对数据的理解可能会和数据分析、数据挖掘有类似，但是又不同。
85230发布于 2018-05-25 直面“AI曼哈顿计划”，中国科学智能的破局之道
《意见》提出利用人工智能技术加速“从0到1”科学发现的核心引擎，通过科学大模型建设、科研平台智能化升级、高质量科学数据集开放共享，提升跨模态数据处理能力，推动科研范式从线性探索转向智能驱动，助力破解基础学科重大难题 11月，美国紧随而来推出“创世纪计划”，这项被喻为“AI曼哈顿计划”的国家战略，集结全美超算资源与联邦数据，构建从假设提出、模拟计算到实验验证的全链条AI科研平台，重点攻关先进制造、生物技术、关键材料等六大战略领域 从AlphaFold破解蛋白质结构预测难题，到气象大模型提升预测精度，科学智能已展现出颠覆科研范式的巨大潜力，而足量且高质量的科研训练数据与算力基础设施，正是实现这一突破的首要条件。 该产品基于完全自主知识产权的MaPU代数处理器架构，融合全3D互联整机设计，实现了极低的通信延迟和千百倍的计算效率提升，相较于传统二维架构超算，计算加速效果可达2至4个数量级，被喻为探索微观世界“动态” 这种技术优势正转化为实实在在的科研价值，在生物医药领域，“天穹”已推动多款药物进入临床前试验阶段，通过高精度模拟发现新的变构口袋及候选药物分子；在新材料领域，其支撑的电解液数据集成为国家新材料大数据中心门户首批入驻的
12910编辑于 2026-03-19- 来自专栏腾讯大数据的专栏
天穹SuperSQL：腾讯下一代大数据自适应计算引擎
SuperSQL作为腾讯大数据智能计算平台的入口和决策中心，整合不同的大数据系统组件，旨在解决传统大数据架构下的痛点和难点问题，诸如大数据的语言门槛高、大数据引擎多而杂、大数据计算链路长而复杂、资源利用率低 ，自适应不同架构下的数据融合计算需求，通过自动数据冷热分层，多级缓存，提升存储访问性能 场景架构自适应：适配多云混合架构，实现最优的跨集群、跨DC、跨云计算路由，打通数据链路，解决数据孤岛 融合计算平台已在天穹落地 由于特征维度大，训练数据多，模型训练慢，因此对特征进行降维。 为此，天穹Presto做了针对性的优化，在动态的计算环境中，通过感知节点算力的变化，自适应地调整计算任务的调度，避免低算力节点的影响。 天穹Presto自适应任务调度主要分为：Task自适应调度与Split自适应调度，方案实现的核心思想是：根据节点的算力情况动态分配Split和Task，整体架构如下图所示： 天穹Presto
6K20编辑于 2022-08-26 数据同步最全避坑指南！4大痛点+4大场景技术方案
在数据湖仓一体、流批一体的背景下，数据同步作为数据流动越来越重要的一环。然而，数据同步听起来简单，做起来却处处是坑：业务急着要数据做决策，报表却迟迟出不来？ 系统A和系统B的数据对不上，流程卡住，用户投诉？想搞实时同步提升体验，结果把核心数据库拖慢了？尤其在企业内部数据分析和业务流程流转等关键时刻，如果数据同步跟不上，问题就大了。 （2）技术实现：全周期一致性方案通过将存量数据校验与增量同步并行处理，缩短数据切换时间，降低业务中断风险。4.资源消耗与扩展不足（1）痛点：流式同步技术在提升实时性的同时，对计算资源的需求大大增加。 误区 4：安全防护的合规性缺失敏感数据同步需满足分类分级要求，山东大数据局明确要求传输加密、脱敏处理与最小权限管控。工具应该内置敏感数据规则，并支持操作日志审计留存，确保符合监管要求。 3.流处理平台：实时化场景方案企业可以根据场景选择单一工具或组合方案：4.新一代统一架构：流批一体与湖仓融合理想的数据同步架构应该整合流批一体引擎（Flink）、湖仓存储层（Iceberg）与智能管控面
59310编辑于 2025-09-22- 来自专栏云计算D1net
大数据时代 云安全4大策略
云计算与大数据的结合可以说是天作之合。大数据需要灵活的计算环境，而后者可以快速、自动地进行扩展以支持海量数据，基础设施。 4、对数据安全永不妥协 虽然云安全通常十分复杂，但是用户在大数据部署当中还是会发现一些“安全捷径”。这些“安全捷径”通常貌似能够回避一些复杂设置，同时保持大数据结构“不受伤害”。 并不是所有的大数据基础设施是安全的，如果处于风险当中的数据非常敏感或是属于管制数据，那么用户可能需要寻找替代方案。 多备份在给用户备份数据时自动把数据压缩加密并传到多个云端平台，采用3层加密安全保护体系使得数据安全达到最高。 总结 只有为数据建立了最为严格的安全标准，大数据才能够不断地享受着由云计算提供的可扩展性、灵活性和自动化。加密被认为是保护云(大)数据的首要步骤。
1.3K70发布于 2018-03-21 - 来自专栏腾讯大数据的专栏
天穹SuperSQL如何把腾讯 PB 级大数据计算做到秒级？
天穹SuperSQL是腾讯自研，基于统一的SQL语言模型，面向机器学习智能调优，提供虚拟化数据和开放式计算引擎的大数据智能融合平台。 Presto在腾讯天穹SuperSQL大数据生态中，定位为实现秒级大数据计算的核心服务。主要面向即席查询、交互式分析等用户场景。 得益于Presto的多数据源访问能力，天穹Presto支持对接了Hive、Iceberg、MySQL等数据源，且为了更好地支持内部的业务，我们也扩展开发了内部的TDW Connnector，支持访问腾讯内部的数据仓库数据 同时天穹Presto使用了Alluxio作为数据源（Hive表、Iceberg表）的缓存层，用于加速热点数据的访问，可有效提升Presto查询的效率。 4 性能优化 4.1 Presto on Alluxio 天穹Presto on Alluxio主要有两种部署模式：Presto on Alluxio Cluster以及Presto Alluxio Local
2.1K51编辑于 2022-01-23 数据资产怎么管？关键在这4大环节！
我们可以利用数据发现工具或数据目录平台，自动连接到公司内部的各个数据库、数据仓库甚至文件存储。 2.核心是抓取“元数据”工具会自动采集“关于数据的数据”，比如一个数据表叫什么、在哪里、包含哪些字段（这是技术元数据）；每个字段在业务上代表什么，归哪个部门管（这是业务元数据）。 3.形成数据目录将所有采集到的元数据组织起来，形成一个可搜索的、统一的数据资产地图。想象一下，这就是你公司数据的“搜索引擎”。做完这一步，你就能快速回答：我们到底有没有“客户满意度评分”这个数据？ 2.设计一致的数据模型在数据汇聚的层面，比如数据仓库里，按照商定好的标准来设计和整合数据，确保口径一致。3.理清数据血缘这一点非常关键。 我们应该把处理好的数据，封装成易于使用的数据服务API、可复用的数据产品或直观的分析报表。让业务方能够方便地获取数据能力。2.尝试进行价值度量数据值多少钱？这是个难题，但我们必须尝试去回答。
32310编辑于 2025-12-08- 来自专栏程序你好
区块链4大优势，与传统金融4大短板
通俗地说，所有网络虚拟数字货币的交易过程都是去中心化的分布式网络账本，被记录的所有交易数据都可以在区块链各个节点上共享，各个数据终端通过加密合约彼此间相互链结。 技术的关键点在于所有节点都分散保存着一个账本，单一或部分节点无法单独篡改数据。 ? 在传统金融日系，都依赖于信用背书系统。 目前大部分的金钱交易都是通过银行、保险公司、担保公司等第三受信机构作为中介完成交易的，记录单独保存于其中央数据库中，这种方式无法确保记录的完整性和唯一性。 区块链技术的四大优势表现在四个方面： 首先是免基础信任机制。 所有参与区块链交易节点都参与记录和验证，以及数据的维护。
1.2K10发布于 2018-07-20 - 来自专栏灯塔大数据
4位专家解读2015大数据技术进展
【回顾2015】 1 关键技术进展 Hadoop： Hadoop作为大数据平台中最基础与重要的系统，在2015年提高稳定性的同时，发布了多个重要功能与特性，这使得Hadoop朝着多类型存储介质和异构集群的方向迈进了一大步 它的基本思想是，通过打标签的方式为不同的节点赋予不同的属性，这样，一个大的Hadoop集群按照节点类型被分成了若干个逻辑上相互独立（可能交叉）的集群。 ●可配置的store compression 存储的field，例如_source字段，可以使用默认的LZ4算法快速压缩，或者使用DEFLATE算法减少index size。 2015年Kylin的主要发展都在Streaming OLAP上，为了支持低延迟的数据刷新，从整体的架构和设计上都做了相当大的重新设计，目前已经可以支持从Kafka读取数据并进行聚合计算的能力，同时提供 ●2015年4月，亚马逊启动其机器学习平台Amazon Machine Learning，这是一项全面的托管服务，让开发者能够轻松使用历史数据开发并部署预测模型。
93970发布于 2018-04-10 - 来自专栏随手写个文章
【天穹OS】虚拟表：支持极速查询的下一代湖仓一体新范式
当今已存在的许多湖仓一体的产品，他们都是非常优秀的架构和技术，下面着重说明一下两大主流湖仓一体方向：基于数据湖的湖仓一体架构，以DeltaLake为代表 [1]如图2，DataLake 作为中央数据湖， 前些年基于维度建模、解决数据孤岛的中央数据仓库大热，所有的数据都在往里灌，存储了海量（ZB）的数据；但是现在业界许多公司的中央数据仓库落后主流技术一两代，在需要迭代升级、降本提效的时候却面临而迁移不动的尴尬 高并发、高负载的情况下，星型模型多表JOIN查询在平均4s以内。以上数据说明虚拟表轻松应对查询数据量在6亿级别的敏捷分析、Adhoc、数据集市查询分析等场景。 支持的场景4: 天穹数据仓库升级天穹数据仓库在这么多年以来支持公司内各个BG的业务，取得了非常好的业务成果。 虚拟表短期想达到的目标：支持天穹数据仓库极速查询场景一条 SQL 查询天穹数据仓库所有数据，无数据孤岛、体验一体化根据用户指定的成本提供查询体验（速度、稳定性、一致性等）天穹数据仓库无痛升级参考[1]
2.4K212编辑于 2023-10-31 - 来自专栏腾讯技术工程官方号的专栏
腾讯 PB 级大数据计算如何做到秒级？
天穹 SuperSQL 是腾讯自研，基于统一的 SQL 语言模型，面向机器学习智能调优，提供虚拟化数据和开放式计算引擎的大数据智能融合平台。 Presto 在腾讯天穹 SuperSQL 大数据生态中，定位为实现秒级大数据计算的核心服务。主要面向即席查询、交互式分析等用户场景。 同时天穹 Presto 使用了 Alluxio 作为数据源（Hive 表、Iceberg 表）的缓存层，用于加速热点数据的访问，可有效提升 Presto 查询的效率。 2.3 Iceberg Connector 功能增强 腾讯天穹实时数仓-数据湖分析系统 DLA 使用了 Iceberg 作为表的数据组织格式，用户数据入湖后，可以通过 Presto Iceberg Connector 4 性能优化 4.1 Presto on Alluxio 天穹 Presto on Alluxio 主要有两种部署模式：Presto on Alluxio Cluster 以及 Presto Alluxio
2.1K21编辑于 2022-01-21 数据清洗，必须掌握的5大解决方案+4大步骤
一、数据清洗是什么及应用场景高质量的数据应用必须建立在干净可靠的基础之上，数据清洗正是数据治理体系中的关键战略环节。当原始数据从采集端流入处理流程，首先需要经历系统性的 “质检” 与 “加工”。 数据清洗是什么？数据清洗是对原始数据进行系统性审查、修正、转换与整合的过程。 （4）机器学习和人工智能：模型训练极度依赖数据质量，缺失值处理不当、异常值未识别、特征尺度差异巨大，都会导致模型性能低下甚至失效。数据清洗的效果直接影响模型的上限。 （3）错误数据：拼写错误、逻辑错误等。（4）异常值：超出正常范围的数据。（5）格式混乱：日期、数字、文本等格式不一致。（6）不一致数据：跨系统、跨表的数据存在差异。（7）冗余数据：不必要的重复信息。 （4）将最终字符串转为DOUBLE类型。得到干净、可直接计算的数字型“利润_清洗”列。数据过滤设置过滤条件，筛选出符合特定条件的数据。例如，筛选出「订购日期」为2023年，「运货费」大于100的数据。
45210编辑于 2025-09-26- 来自专栏机器学习/数据可视化
MySQL必学4大语言
MySQL必学4种语言 本篇文章记录的是MySQL中常用的4种语言： DDL DDL，data defination language，指的是数据定义语言，其主要作用是创建数据库，对库表的结构进行删除和修改等操作 # 需要查询的字段 from table_name # 表名 where 条件 简单查询 select name, age from user where id=4; where id in ：指定从哪里开始显示，显示多少行 简写：limit 5, 4：表示从第5行开始，显示4行数据 select name, age from user limit 5; -- 只显示5行数据 select name, age from user limit 5 offset 4; -- 从第4（offset）行开始显示5(limit)行数据 select name, age from user limit 4, 5 ; -- 效果同上：逗号之前是offset的内容，逗号之后是limit内容 MySQL中的DQL应该是最常用的，请参考《MySQL经典50题》
47540编辑于 2023-08-25 - 来自专栏云头条
4 亿、金融 IT 大单
5月24日，吉林省农村信用社联合社发布《2022年核心主机及配套存储等设备采购项目》竞争性谈判公告 预算金额：8688 万元 采购需求： 1、硬件设备共计31台： 其中核心主机3台、核心主机硬件控制台4台 ） 2、核心主机使用的配套软件3套： 其中核心主机存储切换管理软件1套，核心系统性能分析软件1套，核心系统开发工具1套 3、原厂集成实施服务： 包括核心系统生产及同城灾备三点架构环境搭建，核心业务系统数据平滑迁移 ，核心交换机4台，区域汇聚交换机32台，接入交换机118台，4套SDN控制器等软硬件设备。 采购需求： 2022年5月17日，福建省农村信用社联合社发布《数据库存储（01）采购项目等六个项目》招标公告，预算 7693 万元。 2022年5月17日，福建省农村信用社联合社发布《数据库存储（02）采购项目等六个项目》招标公告，预算未公布。
1.1K10编辑于 2022-06-02 - 来自专栏数据猿
【AI大模型展】思必驰DFM大模型——具有通用智能、针对垂域的行业语言大模型
思必驰DFM大模型 该AI大模型由思必驰投递并参与数智猿×数据猿×上海大数据联盟共同推出的《2025中国数智产业AI大模型先锋企业》榜单/奖项评选。 大数据产业创新服务媒体 ——聚焦数据 · 改变商业 思必驰自研的对话式语言大模型DFM（Dialogue Foundation Model），中文直译为“通用对话基础模型”，具备通用语言计算大模型的所有 具体来看，思必驰可为客户提供数据工程、基底模型、训练平台、提示词工程等一系列大模型所需的技术工程资源，并结合客户的高端智算算力、专有场景数据，实现垂直领域的大模型大规模可定制能力，赋能智能汽车、智能家居 技术说明 在规模量级上，思必驰DFM大模型是百亿量级的行业语言大模型，在一些公开数据集的国际测试中，在同等规模的百亿级大模型中，DFM性能明显处于领先优势。 点击文末“阅读原文”链接还可查看思必驰DFM大模型官网 ★以上由思必驰投递申报的项目案例，最终将会角逐由数智猿×数据猿×上海大数据联盟联合推出的《2025中国数智产业AI大模型先锋企业》榜单/奖项。
54910编辑于 2025-10-21 - 来自专栏Hello工控
CAN总线4大优点！！！
规模化：CAN的广泛流行本身就是一个降低成本的因素，从控制器、收发器、线束——以及更间接相关的成本，如数据采集硬件、培训等。 易于访问 CAN总线提供了与所有网络ECUs通信的“单一入口点”——使得集中诊断、数据记录和配置成为可能。 这极大地简化了诊断工作，因为你不需要为每个节点单独收集数据。 静默CAN记录：特别是，可以在“静默模式”下进行CAN总线数据记录，确保设备完全不影响CAN总线——这对于例如诊断来说至关重要。 高效 CAN帧通过ID进行优先级排序，这样高优先级的数据就能立即获得总线访问权，而不会造成其他帧的中断或CAN错误。 仲裁：当多个CAN节点尝试同时传输数据时，具有最低CAN ID（最高优先级）的帧获胜，其余的则退避并重试。这避免了碰撞，并确保了安全关键消息的优先级。
83210编辑于 2024-10-28 - 来自专栏大数据文摘
数据路线｜构建供应链金融的4大步骤
第一步：核心数据来源 无论是业务还是数据都需要有渠道来源，对于供应链金融而言，就必须选择一个核心企业，通过这类企业来获取核心的交易数据。这种企业有三大类四大标准。 根据上述的简单介绍，这三大类企业一般都符合以下四个标准： 1、在行业中属于龙头企业、风向标； 2、具有大量上下游企业； 3、具有稳定或有规律采购以及销售流水； 4、具有较高程度的系统化信息化。 财务数据，一般是指传统财务的三大报表，资产负债表、利润表以及现金流量表。 在银行传统业务中，主要是通过财务数据对风险进行评估。 无论是teradata的十大主题（ 当事人、产品、协议、事件、资产、财务、机构、地域、营销、渠道 ），还是风险管理中按资金风险、市场风险、信用风险、操作风险等进行分类主题，主题下的指标都需要分析人员根据统计制度手工添加 这种规则引擎模式的分析在支付宝的支付模型中有非常好的体现，例如支付宝在其风险模型中采用了六大维度（ 账户、设备、位置、行为、关系、偏好 ），在模型中采用了1万多条规则或策略，来判断支付行为是否有危险。
2.3K90发布于 2018-05-21 - 来自专栏深度学习与python
天穹SuperSQL：腾讯下一代大数据自适应计算引擎 | 文末送书
4. 提效判定：分析统计获取的历史记录集，综合执行时间、失败率、引擎分布等数据，对比系统阈值参数，决定是否对当前 SQL 选择使用的某类计算引擎来执行。 由于特征维度大，训练数据多，模型训练慢，因此对特征进行降维。 4 计算运行时自适应：实时捕捉环境变化，动态调整计算拓扑 传统的大数据架构下，整个计算链路通常是单向的，上层计算缺少底层状态（比如资源状态）的反馈。 为此，天穹 Presto 做了针对性的优化，在动态的计算环境中，通过感知节点算力的变化，自适应地调整计算任务的调度，避免低算力节点的影响。 天穹 Presto 自适应任务调度主要分为：Task 自适应调度与 Split 自适应调度，方案实现的核心思想是：根据节点的算力情况动态分配 Split 和 Task，整体架构如下图所示： 天穹 Presto
1.6K10编辑于 2023-03-29 数据融合是什么？进行数据融合的4大关键环节！
这些数据可以来自多个不同的数据源，例如：（1）数据库：企业内部的关系型数据库、非关系型数据库，存储着结构化或半结构化的数据。 （3）传感器：物联网设备中的传感器，如温度传感器、压力传感器、摄像头等，产生实时的、连续的数据流。（4）网络：通过网络爬虫从互联网上抓取的数据，如社交媒体数据、新闻资讯、用户评论等。 （3）图像数据：如产品图片、监控摄像头图像、医学影像等，需要通过计算机视觉技术进行处理和分析。（4）视频数据：如视频监控、在线教育视频、广告视频等，数据量大，处理难度较高。 不同的融合方法适用于不同的场景和需求，选择合适的方法是实现高效数据融合的关键。4.应用领域数据融合在许多领域都有广泛应用，包括商业智能和数据分析、医疗健康、智能城市、军事情报分析、环境监测等。 通过FineDataLink进行数据质量监控，能够让相关人员及时了解到数据质量的情况，进而采取相应的措施。4.协同合作与知识共享在数据融合过程中，不同团队或者部门之间需要进行有效的协同合作与知识共享。
86610编辑于 2025-09-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号