首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >数据编排平台

数据编排平台

修改于 2023-09-01 15:25:32
1158
概述

数据编排平台(Data Orchestration Platform,DOP),是腾讯推出的数据编排平台服务。定位通用数据编排,与腾讯大数据生态紧密结合。可以充分利用硬件剩余资源,与计算配合,为用户提供计算加速、数据转换、数据无感迁移、统一存储服务、智能数据路由等能力,加速机器学习人工智能等 AI 业务访问存储等能力。

数据编排平台有什么产品特性?

统一命名空间

使用透明的命名机制和挂载 API 来实现有效的跨多个底层存储系统的数据管理,可作为异构存储的统一入口。

策略驱动数据管理

支持采用不同策略将数据从一个存储系统透明迁移到另一个存储系统中,迁移过程不影响计算应用的正确运行。

数据转换

不修改原始数据,实现文件合并、格式转换、解密解压等数据转换操作。

分布式缓存加速

支持内存、SSD、HDD 等多个层级作为缓存介质,利用多种可预定义的数据预热与淘汰策略对缓存进行管理。

腾讯云生态打通

数据编排平台为用户提供数据编排能力,是腾讯云生态的一部分,与腾讯云生态产品打通,既可以独立部署数据编排平台实例,也可以在腾讯云生态的其它产品使用数据编排平台,EMR 和 DLC 产品均集成了数据编排平台。

大数据场景支持

支持 Presto,Iceberg 和 Hive 使用 LocalCache 和 system Cache 模式进行加速。

数据编排平台有什么应用场景?

统一存储服务

数据编排平台可以将跨 DC、跨存储系统(HDFS、Ozone、COS、S3)的数据统一挂载到数据编排平台中,然后对上层应用提供统一的聚合视图。

跨域、跨云数据访问提速和无感迁移

数据编排平台可以帮助用户在腾讯云上实现跨域、跨云数据访问提速,也可以实现数据在迁移过程中无感访问。

计算加速

数据编排平台通过对热数据预加载的方式,可以使 Presto、Spark 等分析计算引擎直接从缓存中加载数据,加速 IO 读写,提升 Job 稳定性和计算速度;同时数据编排平台支持 HDD、SSD、内存等多层级作为缓存介质,根据数据冷热级别,进行多层级缓存加速管理。

数据编排平台支持的大数据框架有哪些?

数据编排平台支持所有使用 Hadoop 兼容文件系统 API 的大数据框架和应用,包括 Presto,SPARK,MapReduce,HIVE,HBASE,Impala 等。

数据编排平台如何申请?

登录注册

登录腾讯云官网。如果没有账号,请参考 账号注册教程

线上申请

单击 立即申请,填写申请单,填写完成后单击提交申请,完成线上申请。

申请审核

腾讯云平台接到服务申请单后,进行服务需求审核,如果审核通过,腾讯云工作人员将联系您进行初步需求确认与商务洽谈。

项目对接

在需求沟通清楚之后,会由项目团队为您提供对接服务。

相关文章
  • Jrlabs:开发CXL编排平台
    458
  • 腾讯云发布新品数据编排平台(dop)-与大数据生态紧密结合,提供通用数据编排服务
    2.4K
  • 基于 DAG 的任务编排框架/平台
    7.6K
  • 基于DAG的任务编排框架/平台
    2.6K
  • Karmada: 云原生多云容器编排平台
    1.7K
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券