首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏云云众生s

    数据集成如何超越ETL而不断发展

    第三章 趋势 未来几年,随着 EtLT 架构的普及,数据集成中将涌现出许多新场景,而数据虚拟化和 DataFabric 也将对未来的数据集成产生重大影响: 多云集成:这在全球范围内已经很普遍,大多数数据集成都具有跨云集成能力 DataFabric:目前,许多公司提出使用 DataFabric 元数据来管理所有数据,从而在查询期间无需 ETL/ELT,并直接访问底层数据。 数据虚拟化:基本思想类似于 DataFabric 的执行层。数据不需要移动;而是通过临时查询接口和计算引擎(例如 Presto、TrinoDB)直接查询,以转换存储在底层数据存储或数据引擎中的数据。 虽然数据集成最终会面临零 ETL、数据虚拟化和 DataFabric 的挑战,但在可见的未来,这些技术的性能、准确性和 ROI 一直未能达到数据集成的普及程度。 当然,我相信在未来 10 年,在 DataFabric x 大模型的情况下,虚拟化 + EtLT + 数据路由可能是数据集成的终极解决方案。 总之,只要数据量增长,数据之间的管道就永远存在。

    40610编辑于 2024-06-13
  • 实现成本最优的一体化管理,新一代数据平台的建设方式

    DataFabric、DataOps、数据资产入表等多种解决方案兴起,从工具、流程、制度等维度去解决上述问题。 现有数据平台建设和运维团队受限于投入不能跟进每一个技术热点,从维护HDFS、Hive,到Atlas、Hudi、Presto等链路,需要熟悉运维管理十几个数据组件,又面临新技术比如联邦计算、数据湖、实时数仓,AI整合、DataFabric

    45410编辑于 2024-01-26
  • 2025奇点已至:从广州Meetup看IT服务管理未来的六大演进趋势

    这将彻底释放被“数据孤岛”禁锢的价值,使得跨系统的数据编织(DataFabric)成为可能。对于IT部门而言,集成的重心将从“技术对接”转移到“数据资产治理”。

    15110编辑于 2026-01-06
  • 来自专栏大数据在线

    释放数据生产力,网易数帆如何做到最优解?

    2 其次,新场景带来了数据量、数据类型不断走向丰富,与数据处理、分析相关的技术也是层出不穷、应接不暇,从数据库、数据仓库,到数据中台、数据湖,甚至现在热门的湖仓一体、DataFabric,大部分企业并无掌控新技术的能力

    42920编辑于 2022-12-13
  • 来自专栏数据猿

    Apache郭炜:数智新元,向内打破——开源星星火,燎原新科技

    第二,数据融合类技术崛起,包括DataMesh、DataFabric、DataOps等技术。它们将解决各类新兴数据引擎,以及数据湖和数据仓库之间差异化的矛盾。

    41720编辑于 2021-12-05
  • 来自专栏爱分析洞见文章

    2023爱分析·数据产品开发市场厂商评估报告:爱数

    产品服务介绍:围绕数据产品开发,爱数提供端到端的数据产品开发和数据交易基础设施,其相关产品包括:其一是一体化数据资产运营平台AnyFabric,基于DataFabric理念融合领域认知智能,以AI增强数据目录

    39830编辑于 2023-05-19
  • 来自专栏腾讯云TVP

    Data For AI:2025年数据集成技术趋势预测

    大模型与AI融合到ETL过程中,AI集成为ETL的目标,也成为ETL中间的处理工具动态ETL出现,自动数据处理而无需传统ETL任务,从而实现DataFabric

    70410编辑于 2025-01-22
  • 来自专栏存储公众号:王知鱼

    AI概念横空,企业数据准备好了吗?

    Notice:Human's prompt, Datasets by Gemini-2.5 #AI与数据平台 #DataFabric

    33910编辑于 2025-07-27
  • 来自专栏QQ大数据团队的专栏

    重塑数据价值,赋能企业创新

    虎兴龙强调,现在数据治理和架构的概念名词很多,Datamesh、Datafabric、Semantic layer、Data Virtualization等等,但其实核心逻辑都是通过开发、治理、建模等手段形成统一数据知识层

    78510编辑于 2024-12-29
  • 来自专栏随手写个文章

    下一代大数据技术架构:Data Fabric?

    Forrester 认 为 DataFabric “是以一种智能和安全的并且是自服务的方式,动态地协调分布式的数据源,跨数据平台地提供集成和可信赖的数据,支持广泛的不同应用的分析和使用场景”, 其专注于对数据集成

    6.3K133编辑于 2023-10-10
  • 来自专栏绿盟科技研究通讯

    打好人工智能战争 —— 未来智能化战争之作战构想(上)

    这项技术的应用产生了“数据结构”(Datafabric)这一概念,形象地说,就像是“一种覆盖了巨大空间的织物,将多个数据位置、类型和来源连接起来,并提供数据访问方法”[16]。

    1.7K10发布于 2021-09-27
  • 来自专栏小吾的AI辅助软件开发

    2025年国内外AgentOps痛点与解决方案和工具链综述

    WeLink、云原生平台)开发专用适配器渐进迁移:先接入非核心系统,验证稳定性后再接入核心系统激进型路径:统一数据中台+Agent原生接口方法论:不再为每个遗留系统单独开发适配器,而是构建统一数据中台(DataFabric

    56220编辑于 2025-12-16
领券