- 综合排序
- 最热优先
- 最新优先
- 来自专栏鸿的学习笔记
什么是 Data Mesh ？
材料主要来源于How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh和Data Mesh Principles and a Monolithic Data Lake to a Distributed Data Mesh和Data Mesh Principles and Logical Architecture。 因此 Data Mesh 试图解决这些问题。 存在的问题 目前而言没有一款合适的工具可以帮助我们应用 Data Mesh 这个原则，而在没有工具的情况下，Data Mesh 最后也会陷入到之前那种数据孤岛的问题。 因此，我的看法是可以暂且观望 Data Mesh 概念的发展，如果自己企业在面临着上文所提到的数据湖的难题时，可以尝试应用 Data Mesh ，也许有着意想不到的效果。
3.2K10发布于 2021-03-16 - 来自专栏开源心路
数据编织 (Data Fabric) vs 数据网格 (Data Mesh)
概念 近来，数据管理领域的热词也是不少，从国外来的数据编织 (Data Fabric) 和数据网格 (Data Mesh) 是两个经常被提及的新话题。 Gartner给数据编织(Data Fabric) 的定义如下： Data Fabric is a design concept that serves as an integrated layer of data and connecting processes. Forrester给出数据网格 (Data Mesh) 的定义如下： Data Mesh is a decentralized sociotechnical approach to share, access 参考 https://www.datanami.com/2021/10/25/data-mesh-vs-data-fabric-understanding-the-differences/
2.5K10编辑于 2023-06-30 - 来自专栏喔家ArchiSelf
一文读懂 Data Mesh
这样的新型数据平台， 被业界命名为“Data Mesh”。Data Mesh 平台是一个分布式数据架构，通过共享和协调的自助服务数据基础设施来实现互操作性，进而实现集中治理和标准化。 4. 什么是Data Mesh？ Data Mesh是现代数据管理的一种战略方法，也是加强组织数字化转型的一种方法，它集中于提供有价值且安全的数据产品。 5 Data Mesh 的 四个核心原则 Data Mesh 的四项核心原则作为一个整体是必要且充分的，使规模具有弹性，同时解决不兼容数据的孤立问题或运营成本增加的问题。 Data Mesh的实现 Data Mesh的实现为那些希望在不确定的经济环境中蓬勃发展的组织提供了灵活性，所有组织都需要能够以低成本、高回报的方式来应对环境的变化。 在构建Data Mesh生态系统的时候，一个关键的 Data Mesh 实现原则是通过利用现有的投资来连接数据源: 数据湖或数据仓库; 云或内部设施等。
2.5K41编辑于 2022-12-03 - 来自专栏深度学习与python
现代数据架构选型：Data Fabric、Data Mesh | QCon
在寻求最佳数据架构的过程中，Data Fabric 和 Data Mesh 常常被关注到，这两者乍一看很相似，但是这两种方法存在着根本差异。 Data Mesh 在解决的问题和 Data Fabric 十分相似，也就是在异构数据环境中管理数据的难题。 但二者的不同之处在于，Data Mesh 允许分布式团队在遵守共同的治理规定的前提下按照自己的方式管理数据，而 Data Fabric 是在分布式数据之上构建单个的虚拟管理层。 Data Mesh 希望能纠正数据湖和数据仓库之间的不一致性。 因此将于 7 月 31 日 -8 月 1 日举办的 QCon 全球软件开发大会（广州站）特别策划了「现代数据架构选型」专题，将湖仓一体、Flink 最新更新、Data Fabric、Data Mesh
87920编辑于 2023-03-29 - 来自专栏大数据成神之路
Data Mesh，数据网格的道与术
在讨论 Data Mesh 之前，首先要给大家介绍一下 Service Mesh。 Service Mesh 公认的定义，是用以处理服务与服务之间通信的专用基础设施层。 Lake to a Distributed Data Mesh》和《Data Mesh Principles and Logical Architecture》。 好了，至此我们听到过的数据架构至少包含了：数据平/中台、湖仓一体、Data Mesh。我只能说，大佬们太会玩了。 另外根据ThoughtWorks的分享，Data Mesh应该包含下面几个部分： ? 那么Data Mesh的落地方式和交付标准怎么衡量呢？ 我看了半天文章也不明所以，但是有几点可以肯定的是： Data Mesh的受众应该是包含业务团队的，不是数据团队的专属； Data Mesh 应该是服务化的方式； 目前还没有看到落地实践和可行的方案。
1.2K30发布于 2021-07-12 - 来自专栏DevOps
数据架构：现代数据架构选型篇(Data Fabric、Data Mesh)
在寻求最佳数据架构的过程中，Data Fabric 和 Data Mesh 常常被关注到，这两者乍一看很相似，但是这两种方法存在着根本差异。 Data Mesh 在解决的问题和 Data Fabric 十分相似，也就是在异构数据环境中管理数据的难题。 但二者的不同之处在于，Data Mesh 允许分布式团队在遵守共同的治理规定的前提下按照自己的方式管理数据，而 Data Fabric 是在分布式数据之上构建单个的虚拟管理层。 Data Mesh 希望能纠正数据湖和数据仓库之间的不一致性。 再往上一层总结，Data Mesh 则侧重于组织变革，它关注人员和流程，而不是架构，而 Data Fabric 以技术为中心，它是一种架构方法，它以一种智能的方式处理数据和元数据的复杂性，并且可以很好地协同工作
57910编辑于 2024-03-29 - 来自专栏ThoughtWorks
Data Mesh助力规模化企业数据应用
图：Daff建立的Data Mesh协作模式 这个故事来自《Data Mesh 权威指南》，这是第一本全面、完整、详细的介绍了Data Mesh各个方面的书籍，可以对数据从业者带来全新的启发和思考。 Data Mesh也一样，我们很难一开始就完全按照Data Mesh的四个原则建设这样一个平台，对数据团队进行全面的改革，我们需要的是能够进行演进式变化，增强组织的韧性，而不是进行一场豪赌，成王败寇。 Data Mesh在国内企业中的落地也需要基于企业的实际问题。 因此，企业在进行Data Mesh落地的时候也会有所侧重，或者加快基础设施搭建的过程，或者对数据进行领域的划分，或者选取优先级较高的数据产品进行落地，同时构建Data Mesh的数据产品平台。 通过Data Mesh的一些理念逐步去影响、改进现有的数据平台和团队合作模式。 道长且艰，让我们一起砥砺前行，不忘初心。我们也会有后续文章介绍Data Mesh的实施路径，敬请关注。
40510编辑于 2023-09-18 - 来自专栏云原生实践
成功的数据驱动型公司为何采用Data Mesh
Data Mesh便是这种范式的转变，它起源于现实世界中的数据湖或平台领域。由于它利用了现有技术并且不受特定底层技术的束缚，因此它所承诺的结果具有革命性，至少我们认为是革命性的。 二、当Data Lake变成Data Mess 为了更好地理解Data Mesh及其架构原理的主要优势，我们需要退后一步，看看在这种新范式之前，数据管理的最新技术（在大多数情况下仍然是最新技术）。 在Data Mesh中，我们谈论的更多的是服务，而不是摄取，因为发现和使用数据比提取和加载数据更为重要。 仅当数据具有新的功能/业务含义时，Data Mesh才会转移数据所有权。 当新技术出现时，Data Mesh范式也有助于公司“面向未来”。 尽管如此，Data Mesh平台仍应提供脚手架来实现此类输入和输出端口，并尽可能选择与技术无关的标准；这包括为分析以及基于事件的数据访问设置标准。
67420发布于 2021-05-31 - 来自专栏大数据杂货铺
Data Mesh 关键组件：数据产品如何改变企业运营？
原文链接：https://www.getdbt.com/blog/key-components-of-data-mesh-creating-and-managing-data-products
53210编辑于 2023-12-05 - 来自专栏数据D江湖
现代数据体系架构 -Data Fabric Data Lakehouse Data Mesh和未来的数据生态系统
来源：Cloudera 公众号后台回复： 报告 获取源文件 欢迎添加本站微信：datajh （可上下滑动或点单个图片放大左右滑动查看）
61310编辑于 2022-12-08 - 来自专栏深度学习与python
数据流动方式迭代：Netflix Studio 的 Data Mesh 实践
我们将在下面几节中深入探讨数据传递（Data Delivery）和数据消费（Data Consumption）。 3通过 Data Mesh 进行数据传递 什么是 Data Mesh？ Data Mesh（数据网格）是一种完全托管的流式数据管道产品，用于支持变更数据捕获（CDC）用例。在 Data Mesh 中，用户创建源（source）并构建管道。 CDC 事件也可以通过 Java 客户端生产者库发送到 Data Mesh。 端到端的模式演进 模式（Schema）是 Data Mesh 的关键组件。当上游模式发生变更时（例如 MySQL 表中的模式变更），Data Mesh 会检测到该变更，检查兼容性并将该变更应用到下游。 模式传播 检查完模式的兼容性之后，Data Mesh 平台将根据最终用户的意图传播模式变更。
1.6K20编辑于 2023-04-01 - 来自专栏深度学习与python
Data Mesh，数据架构的下一个变革！
编排生成的网格 Service Mesh 映射过来就是 Data Mesh。 4现在是采用 Data Mesh 的好时机吗？ 其中，性价比是企业在考虑是否采用 Data Mesh 时首先要考虑的。不管是微服务也好，Data Mesh 也好，都存在一个最基本的底线成本。 回顾前文提过的 Data Mesh 架构，它需要基于底层弹性基础设施来打造，可以认为云是做 Data Mesh 的起点，如果企业当前的数据架构不是基于云来做的，那从当前架构迭代到 Data Mesh 架构的过程中就需要更多改造步骤 Data Mesh 标志着大规模数据分析架构和组织范式的转变，但要加速 Data Mesh 的实现，在开源或商业工具上仍存在巨大的缺口。
1K21发布于 2021-06-08 - 来自专栏ThoughtWorks
Data Mesh：除了技术，也关乎所有权与沟通力
在数据和分析领域中，数据网格（Data Mesh）范式是取代数据湖、成为主要架构模式的强势候选者。重要的是，数据网格引入了新的组织视角，并且它与特定技术无关。 图一，处理数据的传统方式切断了数据负责人与数据使用者的关系 Data Mesh：去中心化的领域所有权，共享的基础设施 相反，数据网格的目标状态是让数据生产者和数据使用者尽可能紧密地合作。
47440发布于 2021-10-09 - 来自专栏云计算运维
基于 Data Mesh 构建分布式领域驱动架构的最佳实践
一个有远见的组织应该有一个数据基础结构（data fabric ），以解决常见的非功能需求，同时还要有一个运营模式，以识别数据的战略价值。本文介绍 Saxo 银行如何借助数据网格架构来实现这一愿景。 一个有远见的组织应该有一个数据基础结构（data fabric ），以解决常见的非功能需求，同时还要有一个运营模式，以识别数据的战略价值。 本文介绍 Saxo 银行如何借助数据网格架构来实现这一愿景。 毕竟，考虑到 Mesh 这个词的含义："在正确的位置连接在一起"。标识符可以唯一地标识一个实体，可以认为是领域的 "主键"，这也是我们实现数据网格的基本原则之一。 原文链接： Saxo Bank’s Best Practices for a Distributed Domain-Driven Architecture Founded on the Data Mesh
66220发布于 2021-08-09 - 来自专栏深度学习与python
基于 Data Mesh 构建分布式领域驱动架构的最佳实践
一个有远见的组织应该有一个数据基础结构（data fabric ），以解决常见的非功能需求，同时还要有一个运营模式，以识别数据的战略价值。本文介绍 Saxo 银行如何借助数据网格架构来实现这一愿景。 一个有远见的组织应该有一个数据基础结构（data fabric ），以解决常见的非功能需求，同时还要有一个运营模式，以识别数据的战略价值。 本文介绍 Saxo 银行如何借助数据网格架构来实现这一愿景。 毕竟，考虑到 Mesh 这个词的含义："在正确的位置连接在一起"。标识符可以唯一地标识一个实体，可以认为是领域的 "主键"，这也是我们实现数据网格的基本原则之一。 查看英文原文： Saxo Bank’s Best Practices for a Distributed Domain-Driven Architecture Founded on the Data Mesh
84620编辑于 2023-04-01 - 来自专栏喔家ArchiSelf
从Service Mesh 到 Agentic Mesh
Mesh 是一种网络技术，其核心特点是节点之间可以动态互联，通过多跳路由实现数据的高效传输。Mesh 网络中的每个节点既能发送/接收数据，也能为其他节点转发数据，形成一张自组织、自修复的网状结构。 例如，物联网的智能家居设备通过 Zigbee 或 Thread 协议组成 Mesh，低功耗且覆盖范围广。 那么， 什么是Service Mesh？ 什么又是AI时代的Agentic Mesh呢？ Service mesh 的关键组件 一个完整的Service Mesh解决方案通常由几个核心"部件"组成，就像汽车的发动机系统需要多个关键零件配合工作一样。 Service Mesh的常见解决方案 由于Service Mesh技术在云原生环境中的实现也越来越多，这里枚举一些常见的解决方案。 一句话小结 Data Mesh面向的是数据产品， Servcie Mesh 面对的是服务的复杂性管理，而 Agentic Mesh 则是多Agent 系统的一种实现方式 ，它们的基本理念是类似的，只不过
1.2K10编辑于 2025-04-07 - 来自专栏大数据杂货铺
Data Mesh 常见问题汇总：你不得不知的解决方案！
数据网格（Data Mesh）架构是一种新的数据管理方法，它将数据去中心化与联合计算治理相结合。如果做得好，它可以提高数据质量、缩短上市时间并节省资金。但每个人都很难理解它所需要的改变。 原文链接：https://www.getdbt.com/blog/frequently-asked-questions-about-data-mesh
52610编辑于 2023-12-01 - 来自专栏赵化冰的技术博客
Aeraki Mesh
Aeraki [Air-rah-ki] Mesh is an open-source service mesh I started about a year ago, and have been working You’ll need to write an Envoy filter to handle the traffic in the data plane, and a control plane to Aeraki also serves as the RDS server for MetaProtocol proxies in the data plane. There are two important data structures in MetaProtocol Proxy: Metadata and Mutation. Istio Service Mesh?
79120编辑于 2022-08-01 - 来自专栏全栈程序员必看
Service Mesh详解
Service Mesh是用于处理服务间通信的基础设施层，用于在云原生应用复杂的服务拓扑中实现可靠的请求传递。在实践中，Service Mesh通常是一组与应用一起部署，但对应用透明的轻量级网络代理。 Service Mesh基本来说是一组轻量级的服务代理和应用逻辑的服务在一起，同生共死，并且对于应用服务是透明的。 特点：治理能力独立(Sidecar)、应用程序无感知、服务通信的基础设施层 对Service Mesh的权威定义： “dedicated infrastructure layer”：Service Mesh 因为网络是不可靠的，Service Mesh 的愿景就是让服务间的请求传递变得可靠。 Service Mesh 主流实现 Service Mesh 的主流实现包括： Linkerd：背后公司是Buoyant，开发语使用Scala，2016年115日初次发布，2017年123日加入CNCF
1.3K30编辑于 2022-11-15 - 来自专栏CSDN搜“看，未来”
service mesh 简介
文章目录 Service Mesh 诞生 Service Mesh 定义 Service Mesh 形态 service mesh 解决了什么痛点？ Mesh 定义 “别废话了，我没工夫听你说这么多，请用一句话跟我解释 Service Mesh 是什么。 service mesh 解决了什么痛点？ 可能很多人不知道 service mesh，如果你觉得很多人都知道，那是“幸存者偏差”。 没错，你一定想到了TCP； 网络代理：这描述了Service Mesh的实现形态； 对应用透明：这描述了Service Mesh的关键特点，正是由于这个特点，Service Mesh能够解决以Spring ；真正的语言无关，服务可以用任何语言编写，只需和Service Mesh通信即可；对应用透明，Service Mesh组件可以单独升级； 当然，Service Mesh目前也面临一些挑战： 新技术如何平滑演进
85420编辑于 2022-05-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号