传统大数据计算主要围绕结构化数据、SQL、ETL 和批处理展开，资源以 CPU 为主，调度粒度也相对粗。进入 AI 场景后，数据类型扩展到文本、图片、音频、视频等多模态数据，资源形态转向 CPU 与 GPU 异构协同，计算范围继续延伸到多模态处理、模型训练、批量推理、在线服务和 Agent 应用。腾讯云智能数据湖计算 AI DLC 围绕这些变化构建 TCRay、Xpark 和 Meson 三套核心引擎，分别承载统一分布式运行时、多模态数据处理和结构化数据计算。

TCRay：从Ray运行时到生产级AI计算平面

数据湖的计算边界由 SQL / Batch 向 AI Native Workload 扩展后，传统以结构化数据、CPU 和粗粒度调度为主的计算方式，与海量多模态数据、GPU 计算和细粒度资源调度之间出现明显差异。TCRay 的定位是承接多模态数据处理、模型训练、推理服务和 Agent 应用等工作负载，并把它们接入统一的数据湖计算体系。

Ray 提供 Python 原生的分布式开发方式，并通过 Task、Actor、Object 三类抽象覆盖无状态并行计算、有状态服务和分布式数据共享。Ray Data、Train、Tune、Serve、RLlib 等组件进一步覆盖数据处理、训练、参数调优、推理服务和应用侧工作负载，使同一套分布式运行时能够贯穿 AI 全生命周期。

Ray 的应用规模、社区治理、云厂商采纳和后训练生态已经形成较完整基础：PyPI 下载 6.9+ 亿次、贡献者 1500+，veRL、OpenRLHF、Slime、AReaL、ROLL、NVIDIA-NeMo/RL 等后训练框架均以 Ray 作为底层依赖。腾讯云智能数据湖计算 AI DLC 在运行时能力之外，也需要具备持续演进的生态基础。

Ray Core 位于底层，Ray Data、Tune、Train、Serve、RLlib 等组件在其上形成 Ray AI Libraries，覆盖数据处理、模型训练与调优、强化对齐和推理服务等环节，并进一步支撑 RAG、Multi-Agents 等应用侧工作负载。数据预处理、Embedding 与索引构建、SFT、RLHF、Batch Inference、Streaming 等工作负载都可以落在这套计算底座上。

开源 Ray 解决了分布式运行的基础问题，但多团队长期生产使用仍需要托管、多租户治理、稳定性保障和云产品集成。平台侧需要统一作业入口、运行环境与版本管理，增加访问控制、配额与队列、优先级、资源隔离和租户用量统计，同时统一多集群监控告警、历史作业追溯、故障诊断和自动恢复，并打通网络、存储、镜像与数据目录。

TCRay 在此基础上增加面向生产级 Serverless Ray 的平台能力。底层接入计算容器、异构算力、网络、存储、数据湖与 Catalog；平台层负责作业管控、集群管控、弹性异构调度、Spot 成本优化、镜像分发、高性能网络和租户隔离；引擎层围绕 Ray Core、Ray Data、Ray Train、Ray Serve 做增强，接入层则提供 Jupyter、VSCode、WebShell、CLI、SDK 和 REST API，并通过 Logs、Monitor、Alerts、Profiling、Tracing 覆盖运维与可观测。

在腾讯云智能数据湖计算    AI DLC 的整体架构中，TCRay 处于连接数据湖与智能应用的计算平面。结构化数据由 Meson、Spark 处理，多模态数据由 Xpark、Ray Data、Daft、Data-Juicer 等处理，训练与推理由 Ray Train、veRL / OpenRLHF、Ray Serve、vLLM / SGLang 等承载，底层统一由 Ray Core 负责资源管理、任务调度和分布式执行，并通过 TCCatalog 接入统一元数据、权限和数据资产。

在 3000 节点、10 万 Actors 的压测规模下，TCRay 的 GCS 内存峰值下降 29%、稳态下降 40%，CPU 峰值下降 17%、稳态下降 19%；ray::IDLE 内存下降 90%，用于缓解空闲 Worker 复用时的 OOM 风险。History Server 通过 Event 分类存储、Logs 增量上传、Task 事件按需加载、高优信息分级加载、动态 LRU 驱逐和无效信息剪枝降噪，将历史状态加载耗时降低 98%，从分钟级缩短至秒级，峰值内存降低 99%，从 GiB 级降到 MiB 级。

后续演进集中在“更多承载、更快运行、更好体验、更省成本”四个方向：扩展 AI Workload 与异构算力适配，缩短资源供给、调度、执行和扩缩容链路，把事前推荐、事中洞察、事后诊断融入开发运维，并通过按需供给和全局资源优化提升利用率、降低单位任务成本。

Xpark：把多模态处理沉淀为算子、异构流水线与分布式Pipeline

多模态数据规模和可计算范围同步增长。LAION-5B 约包含 58.5 亿图文对，YouTube 每分钟上传超过 500 小时视频；2025 年全球数据量达到 213 ZB，非结构化数据占比 92%，CAGR 为 21.4%。传统引擎在这类场景中主要面对三类问题：数据形态复杂，OCR、Embedding、视频抽帧等算子体系不足，以及 CPU/GPU 异构资源协同困难。

Xpark 通过统一的 Xpark Dataset 组织多模态处理流程，底层基于 TCRay，可接入对象存储、CFS、TCLake Volume、TCLake Table、Lance、ES 和向量数据库，并连接 TI-ONE、TokenHub、内置 Embedding/CLIP 模型和第三方模型。处理能力覆盖文本理解、清洗、过滤和去重，图片识别、标注、模糊和转换，以及视频转码、增强、采样和分段，可服务于 LLM/VLM 训练数据准备、RAG 知识库、自动驾驶、具身智能、日志处理、用户画像和用户意图等场景。

第一类能力是多模态算子。Spark 在复杂多模态处理时通常需要额外适配 Python，Ray 的多模态算子数量和优化程度也存在不足，异构流水线还需要用户自行实现和调优。Xpark 内置 50+ 多模态算子，包括图片重采样、OCR、图文匹配、PDF 解析、大规模文本去重、文本语言识别、音频转文本、视频抽帧和视频场景切分，并提供 AI_SUMMARIZE、AI_SENTIMENT、AI_CLASSIFY、AI_FILTER 等 LLM AI Function，同时支持 UDF 迁移既有业务逻辑。判别式算子采用模型级联后，相比单纯大 LLM 调用可节约 70% 的 LLM 请求。

第二类能力是异构资源协同。多模态 Pipeline 中，图片下载、解码、Tensor 转换、文本 Tokenize 等前处理运行在 CPU，模型推理和相似度计算运行在 GPU；两侧处理速率不匹配时，GPU 会等待 CPU，分布式传输还会放大通信开销。Xpark 将预处理、模型推理和后处理异步化形成 CPU/GPU 流水线 Overlap，并对关联算子做协同调度，尽量减少跨机数据拷贝。在 CLIP 图文匹配场景中，推理吞吐相比开源 Data-Juicer 提升 3 倍，GPU 使用率长期稳定接近 100%。

第三类能力是有状态单机算子的分布式化。以文本精确去重为例，Xpark 对 CPU-Intensive 关键路径使用 C++，将 Exact Substring Dedup 设计成有状态、分阶段、分布式流程，通过轻量构图、哈希和分布式并查集先聚合可能相关的数据，再进入过滤与去重，减少全量比较。该算子相比 text-dedup 开源单机实现快 47.8 倍；Fuzzy Dedup 相比 Data-Juicer v1.4.2 提升 8.5 倍，并通过元数据唯一 ID 省去一轮全量 IO，配合 C++ 高性能 CJK 分词器。

在腾讯云智能数据湖计算 AI DLC 中，Xpark 支持两种使用方式：调试开发或小批量验证可以在 WebIDE / JupyterLab 中构造 Dataset、串联算子并配置 GPU Worker；代码和作业包完成后，再通过任务式提交进行大规模运行。

用户意图识别 Pipeline 的迁移体现了从本地脚本到云上分布式处理的变化。原流程使用单机多线程、手动分片、本地运维和手动部署 Embedding 模型；迁移后改为弹性集群、原生分布式分片、云上可观测与调度，并直接使用 Xpark 的 Embedding 算子。需要扩大数据处理规模时，可通过提高任务并发度和增加 TCRay 资源扩展。

视频语义知识库 Pipeline 从 TCLake 视频数据开始，依次进行镜头切分、转码、黑边裁剪、时长过滤、字幕识别、水印检测、合成/动画检测、视频语义提取和 Embedding，最后写入 TCLake Lance，用于数据语义检索和语义去重。在自动驾驶和具身智能场景中，处理后的向量化视频片段可用于查找特定道路环境或机械臂动作。

Xpark 的后续建设方向包括丰富视频处理算子、Checkpoint、算子级可观测性、自动驾驶与具身智能算子、场景 Pipeline 覆盖与沉淀、VLA Trajectory Curation、多传感器融合数据清洗以及 Xpark 优化器，同时推进开源筹备与发布。

Meson：从CPU流水线、访存到IO和自适应调优逐层优化

AI 与多模态带来更重、更复杂的数据计算负载，近实时分析提高了吞吐和响应时延要求，同时客户希望用更低的单位计算成本承载更多负载。传统计算引擎的瓶颈集中在三处：无法充分利用现代 CPU 的向量化和多核能力；存算分离架构下对象存储带来较高 IO 延迟；全托管场景依赖人工调参，试错和运维成本较高。Meson 对应建设高性能向量化算子、并行执行模型和自适应优化。

Meson 的技术架构包括资源池化与弹性伸缩，BSP 调度模型用于离线批处理，MPP 调度模型用于在线分析；计算内核包含 Pipeline 执行模型、向量化算子、自适应优化和列存内存格式，下接 TCQA 数据加速服务与 TCLake Table。

第一步是提高单核指令吞吐。即使 CPU 利用率达到 100%，虚函数调用、分支预测失效和指令间数据依赖仍会造成流水线空闲。Meson 将计算逻辑拆分为向量化单元，减少分支并提高指令并行度，IPC 从 0.2 提升到 0.6，吞吐提升 3 倍。

第二步处理访存瓶颈。主存访问约 100ns，一旦发生 CPU Cache Miss，CPU 会进入 Memory Stalled。Meson 通过 Prefetch 在计算当前数据块时异步加载下一数据块，把 CPU 计算和内存访问重叠起来，减少等待时间。

第三步扩大多核并发。传统 Volcano Model 采用 Row-Based 解释执行和自顶向下 Pull；Vectorized Model 改为 4K~8K 行 Batch，但仍是单并发 Pull。Meson 使用 Push-based Pipeline Model，以 Batch 交互、自底向上 Push、多并发执行，并拆分 CPU Pipeline 与 IO Pipeline，使计算并行度和数据读取并行度解耦。

存算分离场景的优化继续延伸到 IO。Meson 利用元数据提前裁剪无效数据块，并缓存高频元数据以加速文件寻址和优化器决策；数据访问侧通过异步 IO 和 Prefetch 让 CPU 与 IO 并行，通过 IO 合并减少对象存储请求，再结合计算节点内存、本地磁盘和 TCQA 缓存，降低对象存储高延迟带来的影响。

静态配置难以适配持续变化的 OLAP Workload。Meson 在运行时动态调整并发度和 Shuffle 分区数，根据统计信息自动切换 HashJoin、SortMergeJoin 等 Join 策略，同时调整 Broadcast 阈值，并支持 adaptive partial agg；离线批处理还结合历史执行信息持续调优。某客户集群接入 TCInsight 后，调优人效由 9 人天降至 4 人天，人力投入下降 50%，同时性能提升 14%。

1TB TPCDS 测试中，Meson Spark 相比社区 Spark 整体性能提升 3.6 倍，部分计算密集型查询提升 5 倍；CPU 使用从 80% 降至 40%，IO 吞吐从 12Gbps 提升到 20Gbps，计算瓶颈由 CPU 转向 IO。

单算子测试中，Scan 提升 1.75 倍、Aggregate 提升 3.4 倍、Shuffle 提升 3.6 倍、Join 提升 10 倍。对应优化包括列式读取与压缩、向量化分区、数据 Layout 调整、算子算法优化以及 Prefetch 与访存优化。

TCRay、Xpark 和 Meson 分处不同计算层级：TCRay 提供统一分布式运行时、资源治理和生产级计算平面；Xpark 将多模态处理沉淀为可复用算子、CPU/GPU 协同流水线和分布式算法；Meson 针对结构化计算，从向量化、Pipeline、IO 和自适应优化提升计算效率。在腾讯云智能数据湖计算 AI DLC 中，结构化数据、多模态数据、训练推理与 AI 应用通过统一的数据湖和目录体系衔接，由不同引擎承担对应的计算任务。

导读：传统大数据计算主要围绕结构化数据、SQL、ETL 和批处理展开，资源以 CPU 为主，调度粒度也相对粗。进入 AI 场景后，数据类型扩展到文本、图片、音频、视频等多模态数据，资源形态转向 CPU 与 GPU 异构协同，计算范围继续延伸到多模态处理、模型训练、批量推理、在线服务和 Agent 应用。腾讯云智能数据湖计算 AI DLC 围绕这些变化构建 TCRay、Xpark 和 Meson 三套核心引擎，分别承载统一分布式运行时、多模态数据处理和结构化数据计算。

腾讯云智能数据湖计算AI DLC三大核心引擎解读:TCRay/Xpark/Meson

腾讯云智能数据湖计算 AI DLC 围绕这些变化构建 TCRay、Xpark 和 Meson 三套核心引擎，分别承载统一分布式运行时、多模态数据处理和结构化数据计算。

云计算

大数据

人工智能

腾讯云智能数据湖计算AIDLC推出TCRay、Xpark、Meson三引擎，分别支撑AI多模态处理、异构资源协同与结构化计算优化。TCRay基于Ray构建生产级Serverless计算平面，压测下内存峰值降29%；Xpark内置50+算子，CPU/GPU流水线提效3倍；Meson向量化执行使TPC-DS性能提升3.6倍，实现全场景数据湖AI化。

结构化数据

向量数据库

数据湖计算

数据预处理

自动驾驶

视频转码

弹性伸缩

对象存储

数据清洗

数据库

数据湖

容器

Python

Spark 

腾讯云大数据特惠0.2折起


4核4G3M云服务器 新用户低至38元/年！

2026上云采购 | AI焕新·智启新局

raydata

媒体处理 MPS 普通转码包1元起


文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

腾讯云智能数据湖计算AIDLC推出TCRay、Xpark、Meson三引擎，分别支撑AI多模态处理、异构资源协同与结构化计算优化。TCRay基于Ray构建生产级Serverless计算平面，压测下内存峰值降29%；Xpark内置50+算子，CPU/GPU流水线提效3倍；Meson向量化执行使TPC-DS性能提升3.6倍...

腾讯云智能数据湖计算AI DLC三大核心引擎解读:TCRay/Xpark/Meson

腾讯云智能数据湖计算AI DLC三大核心引擎解读:TCRay/Xpark/Meson

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐