- 综合排序
- 最热优先
- 最新优先
- 来自专栏超级架构师
「数据架构」数据架构的未来
对数据架构师的业务理解已经变得越来越重要，Algmin说，现在它对数据架构师的成功至关重要。 在数据架构师的角色包含更多商业智慧的同时，挖掘和承担技术实现的愿望和能力仍然很重要。 数据架构的扩展作用是他继续看到的。 最近的数据体系结构的未觉察 阿尔格明接着研究了最近的预测，结果并没有如预期的那样： “数据仓库死了！ 数据架构与企业架构的融合 “数据架构师的热度指数正在上升，但企业架构热度指数非常非常冷，而且已经有一段时间了。” 数据架构的含义 数据架构创新在相关技术领域正经历着类似的模式，这些领域的用例潜力尚处于初级阶段，例如区块链和图形数据库，并且数据架构的角色正在发生变化以适应。 在地平线上：未来的热门数据架构主题 Algmin预测了ML和AI在元数据管理和数据治理中的扩展，比如区块链和分布式账本。“我们将开始看到，作为数据架构师，我们可以做一些真正阻碍我们的组织的事情。”
65120发布于 2020-07-20 - 来自专栏超级架构师
【数据架构】数据网格架构模式
但是，唉，没有单一的产品可以为您带来数据网格。相反，企业的数据网格由许多常用组件组成（请参阅下一节数据网格架构回顾）。 但成功的关键是了解这些组件如何相互作用。 在本文中，我将使用架构模式来描述这些交互。 数据网格架构回顾 企业数据网格由许多组件组成（更多详细信息可在此处、此处和此处获得）。 】公众号 【jiagoushipro】 【超级架构师】 精彩图文详解架构方法论，架构实践，技术原理，技术趋势。 QQ群 【792862318】深度交流企业架构，业务架构，应用架构，数据架构，技术架构，集成架构，安全架构。以及大数据，云计算，物联网，人工智能等各种新兴技术。 知识星球【职场和技术】微博【智能时刻】智能时刻哔哩哔哩【超级架构师】抖音【cea_cio】超级架构师快手【cea_cio_cto】超级架构师 小红书【cea_csa_cto】超级架构师 谢谢大家关注
75520编辑于 2022-04-06 - 来自专栏DevOps
大数据架构：全网最全大数据架构生态
简介 随着大数据行业的发展，大数据生态圈中相关的技术也在一直迭代进步，作者有幸亲身经历了国内大数据行业从零到一的发展历程，通过本文希望能够帮助大家快速构建大数据生态圈完整知识体系。 目前大数据生态圈中的核心技术总结下来如图1所示，分为以下9类，下面分别介绍。 1、数据采集技术框架 数据采集也被称为数据同步。 随着互联网、移动互联网、物联网等技术的兴起，产生了海量数据。 这些数据散落在各个地方，我们需要将这些数据融合到一起，然后从这些海量数据中计算出一些有价值的内容。此时第一步需要做的是把数据采集过来。数据采集是大数据的基础，没有数据采集，何谈大数据！ （2）实时数据计算 业内最典型的实时数据计算场景是天猫“双十一”的数据大屏。 数据大屏中展现的成交总金额、订单总量等数据指标，都是实时计算出来的。 9、大数据集群安装管理框架 企业如果想从传统的数据处理转型到大数据处理，首先要做就是搭建一个稳定可靠的大数据平台。
1.6K10编辑于 2024-03-29 - 来自专栏程序那些事
架构之:数据流架构
在日常的工作中，我们会经常遇到这种数据处理的任务，那么对于这样的任务我们就可以采用数据流架构。 数据流架构 在实际工作中的流有很多种，最常见的就是I/O流，I / O缓冲区，管道等。 数据的流向可以是带有循环的拓扑图，没有循环的线性结构或者树形结构等。 数据流架构的主要目的是实现重用和方便的修改。 它适用于在顺序定义的输入和输出上进行一系列定义明确的独立数据转换或计算，例如编译器和业务数据处理应用程序。一般来说有三种基本的数据流结构。 顺序批处理 顺序批处理是最常见也是最基础的数据流架构。 这种架构的主要优点在于它的并发和增量执行。 这种模式下，最重要的组件就是过滤器，过滤器是独立的数据流转换器。它转换输入数据流的数据，对其进行处理，并将转换后的数据流写入管道以供下一个过滤器处理。 总结 上面我们介绍了几种数据流的架构方式，希望大家能够喜欢。
1K51发布于 2021-07-15 - 来自专栏程序那些事
架构之:数据流架构
文章目录 简介 数据流架构 顺序批处理 管道和过滤器 流程控制 总结 简介 有时候我们的系统主要是对输入的数据进行处理和转换，这些处理和转换是互相独立的，在这种情况下，输入的数据经过转换之后被放到指定的输出中去 在日常的工作中，我们会经常遇到这种数据处理的任务，那么对于这样的任务我们就可以采用数据流架构。 数据流架构 在实际工作中的流有很多种，最常见的就是I/O流，I / O缓冲区，管道等。 数据的流向可以是带有循环的拓扑图，没有循环的线性结构或者树形结构等。 数据流架构的主要目的是实现重用和方便的修改。 它适用于在顺序定义的输入和输出上进行一系列定义明确的独立数据转换或计算，例如编译器和业务数据处理应用程序。 一般来说有三种基本的数据流结构。 顺序批处理 顺序批处理是最常见也是最基础的数据流架构。 总结 上面我们介绍了几种数据流的架构方式，希望大家能够喜欢。
1.2K20发布于 2021-06-18 - 来自专栏Ryan Miao
现代企业架构框架-数据架构
应用架构：https://mp.weixin.qq.com/s/HGRcbtq9E4j8ZuSpw3LFrQ 数据架构描述的是企业经营过程中所需数据的结构及其管理方法，其目标是将业务需要转换为数据需求 值得一提的是，数据架构不等于数据中台，数据中台是一种企业架构设计的整体结果，包含了不同视角（业务、应用，数据、技术），而数据架构是数据视角。 5.1 数据架构元模型综述 数据架构的内容元模型包括“结构”、“端口”两个部分，如下图所示： 结构部分用来对数据模型、数据处理建模，其中包括数据对象、数据组件 端口部分用来对数据模型的边界建模，其中包括数据服务 5.2 数据架构元模型应用 5.2.1 平台化趋势对数据架构提出的新挑战 长久以来，业界对数据架构的通用做法是：对于运行类（Operational）场景和分析类（Analytical）场景， 应该使用不同的设计方法和技术支撑 运行类场景的数据架构设计，目前的关注点在于分 布式架构下，如何建立企业级一致的数据标准体系、 数据所有权定义以及数据自描述能力，为企业级的 数据治理以及对于分析类场景的支持奠定基础。
1K20编辑于 2022-09-23 什么是技术架构、数据架构、业务架构、应用架构、产品架构和项目架构？
今天，我就来系统梳理六大核心架构——业务架构、数据架构、应用架构、技术架构、产品架构和项目架构。帮你理解数字化建设的底层逻辑，来有效地参与项目和提升协作效率。 业务架构的输出，是所有后续架构决策的绝对依据。它定义了“我们要做什么”，从而避免了“用先进技术解决一个错误问题”的窘境。二、 数据架构当业务在运行时，它在数字世界留下了什么？答案是数据。 数据架构负责规划数据的全生命周期治理，其关键职责包括：数据资产定义：识别并定义核心业务实体，如客户、产品、订单等及其关键属性。数据流设计：描绘数据在业务系统之间如何流动，从源头到最终使用。 数据标准与安全：建立数据模型、质量和安全标准，确保数据的准确性、一致性和合规性。这是最主要的部分，对企业来说，好的数据架构能解决以下几个问题：1.打破数据孤岛。 它能让不同来源、不同格式的数据能够顺畅交互。2.让数据可信可靠，能用来分析决策。数据架构能对企业内部数据进行系统性梳理，进而得到高质量的可用数据。3.支撑企业进行数字化转型。
84010编辑于 2025-10-30- 来自专栏【腾讯云开发者】
什么是技术架构、数据架构、业务架构、应用架构和代码架构？
应用架构：要部署的各个应用程序的蓝图，其交互以及与组织核心业务流程的关系。 数据架构：一个组织的逻辑和物理数据资产和数据管理资源的结构。 对需求全盘理解之后，进行高度的抽象分类，然后对各个分类进行对应的产品设计，完成抽象的逻辑梳理和数据梳理，逻辑和数据最终组成一个有机体，成为产品架构。 如何画产品架构图？ 06、数据架构 数据架构是对存储数据（资源）的架构。描述核心数据模型设计、数据同步和备份的机制等。 其设计原则和应用架构设计大同小异，在设计时需要考虑系统的业务场景，需要根据不同的业务场景对数据进行异构设计、数据库读写分离、分布式数据存储策略等。如图是电商系统中数据架构的一个概要。 数据架构的设计原则参考如下： （1）统一数据视图，即保证数据的及时性、一致性、准确性和完整性。 （2）数据一致性原则：明确哪些系统允许弱一致性，但要求通过补偿机制保证最终一致性。
61110编辑于 2026-01-15 - 来自专栏单细胞天地
数据基础架构
正 文 第四章 数据基础架构 使用Bioconductor软件包的优势之一是它们利用了通用的数据基础架构，从而使分析可以在各种软件包之间实现互操作。 此外，要使此基础架构强大且可扩展，需要付出大量工程努力。在这里，我们将详细描述 使用Bioconductor软件包的优势之一是它们利用了通用的数据基础架构，从而使分析可以在各种软件包之间实现互操作。 此外，要使此基础架构强大且可扩展，需要付出大量工程努力。 S4对象最大最重要的用处就是可以安全有效检查数据并且能够扩展数据内容。 假设的sce是一艘船，sce的slot可被认为是货箱——可以作为sce中独立的实体。并且每个slot都以自己的格式保存数据。 这对于存储数据的原始版本和规范化版本特别有用。我们可以使用scran和scater包来计算初始主数据的规范化和用对数转换表示初始数据。 请注意，您需要将结果附加到sce对象上。
1.2K30发布于 2020-03-30 - 来自专栏大数据与知识图谱
大数据架构
基于大数据的架构应运而生。 Lambda架构 Lambda架构的核心思想： 批处理层（batch）：批量处理数据，生成离线结果。Apache Impala, Hive等存储。 Kappa 架构 Kappa架构的核心思想： 所有数据都走实时路线，一切皆为流 以数据湖作为最终存储地 当需要全量重新计算的时候，重新起一个流计算实例，对数据湖中存储的原始数据再次经过消息队列重新消费一次 Unified架构 Unified架构提供了一套数据处理和机器学习结合的架构方案，非常好的解决了机器学习平台与数据平台进行结合的问题。 Unified架构实施复杂度更高，对于机器学习平台来说，从软件包到硬件部署都和数据分析平台有着非常大的差别，因此在实施过程中的难度系数更高。 大数据体系架构图 上图为参考阿里巴巴大数据之路所绘制，后续会陆续介绍各个组件。
54610编辑于 2022-05-31 - 来自专栏超级架构师
【数据架构】数据网格解释
因此，Zhamak Dehghani 仅提供原理和逻辑架构来解释如何实现它。 数据网格基于四个原则： 面向领域的去中心化数据所有权和架构 数据网格是特定领域数据产品的网络。 Zhamak 还谈到了多平面数据平台。 （请参阅数据网格原理和逻辑架构）老实说，虽然她将平面定义为“代表一个存在层次——既集成又分离”，但我不确定平面是什么意思。 其他用户可能需要访问数据网格本身的可视化表示、访问其基础架构等。 数据网格词汇表 数据网格：专注于去中心化数据管理的数据框架。 数据产品：将数据用作其核心功能的一部分的产品。 数据即产品：当数据是最终产品时。 架构量子：可以独立部署且具有高功能凝聚力的最小建筑单元，包括其功能所需的所有结构元素。
92010编辑于 2022-06-08 - 来自专栏深圳架构师同盟
什么是技术架构、数据架构、业务架构、应用架构、产品架构和项目架构？
4A架构的集成关系可以概括为：业务流程底层识别业务对象，业务对象转数据架构数据对象识别；业务组件对应应用组件，业务流程对应应用编排；应用功能实现最终需要技术组件支撑。 数据架构的承上启下作用 数据架构逻辑 对于数据架构，实际上它是业务架构和IT架构两者之间的一个关键的衔接点，对于数据架构里面的数据主题域的分析，数据的业务对象梳理和分析，这个实际是你业务建模阶段要做的事情 ，而对于数据架构里面详细的数据的逻辑模型，数据的物理模型和数据库设计，这些内容自然而然就过渡到了IT应用架构规范设计。 当你去看数据架构的时候，一般你会发现一个关键的主线就是数据架构最顶层就叫数据的主题域分析，从数据主题域的分析到数据的概念模型，从概念模型到逻辑模型，从逻辑模型到物理模型。 在AI时代，传统的4A架构得到了新的增强，但并不需要单独增加AI架构。AI架构中的大模型应该融入到数据架构里面，任务模型算法也是数据。实际大模型算法应该是在应用架构中的平台层能力。
55510编辑于 2025-11-17 - 来自专栏超级架构师
【企业架构】什么是数据架构？ 管理数据的框架
数据架构将业务需求转化为数据和系统需求，并寻求管理数据及其在企业中的流动。 它是企业架构的一个分支，包括管理组织中数据的收集、存储、排列、集成和使用的模型、策略、规则和标准。组织的数据架构是数据架构师的职权范围。 数据架构目标 数据架构的目标是将业务需求转化为数据和系统需求，并管理数据及其在企业中的流动。如今，许多组织都在寻求对其数据架构进行现代化改造，以此作为充分利用 AI 和实现数字化转型的基础。 数据架构框架 有几种企业架构框架通常用作构建组织数据架构框架的基础。 DAMA-DMBOK 2. DAMA International 的数据管理知识体系是专门用于数据管理的框架。 TOGAF 是一种企业架构方法，为企业软件开发提供高级框架。TOGAF 的 C 阶段包括开发数据架构和构建数据架构路线图。
2.1K10编辑于 2022-07-29 - 来自专栏全栈程序员必看
数据系统架构——Lambda architecture(Lambda架构)
出现这种情况以后，在系统架构上就采用图（A）的架构，在数据库和应用中间过一层缓冲隔离，缓解数据库的读写压力。 Lambda架构的目标是设计出一个能满足实时大数据系统关键特性的架构，包括有：高容错、低延时和可扩展等。 Lambda架构 Lambda架构的主要思想是将大数据系统架构为多层个层次，分别为批处理层（batchlayer）、实时处理层（speedlayer）、服务层（servinglayer）如图（C）。 Lambda架构组件选型 下图给出了Lambda架构中各组件在大数据生态系统中和阿里集团的常用组件。 我个人觉得，不同的数据架构有各自的优缺点，我们使用的时候只能根据应用场景，选择更合适的架构，才能扬长避短。
4.1K10编辑于 2022-09-12 - 来自专栏JAVA乐园
架构: 数据库架构设计
引言 本文介绍数据库中的架构设计； 通常，单机是无法满足大系统对数据库的读写要求的，必须用集群的方式来解决； 引入集群意味着提升了系统的复杂度，使系统变得复杂和不好维护； 通常采用数据库负载均衡策略、读写分离策略 ； 安全性： 因为数据会同步的多台服务器上，可以实现数据集的冗余，通过多份数据来保证安全性； 将数据库放到了内网之中，更好地保护了数据库的安全性； 易用性：对应用来说完全透明，集群暴露出来的就是一个IP IO压力，采取读写分离； 实现原理： 数据库服务器搭建主从集群，一主一从、一主多从都可以； 数据库主机负责读写操作，从机只负责读操作； 数据库主机通过复制将数据同步到从机，每台数据库服务器都存储了所有的业务数据 ； 业务服务器将写操作发给数据库主机，将读操作发给数据库从机； 主从机数据不一致的解决： 数据不一致：当数据写入主服务器后，要在下次同步后才能查询到； 读从机失败后再读一次主机； 关键业务(账号、转账等 join语句进行查询，只能分几次查询； 事务是同一数据库中的概念，要想在不同数据库之间实现事务的回滚，只能用查询log回滚的方式； 成本高，拆分到不同的数据库意味着需要建立多个备份数据库； 分数据库表
1.2K30编辑于 2022-03-08 - 来自专栏新亮笔记
读书笔记《业务架构·应用架构·数据架构实战》
读书笔记《业务架构·应用架构·数据架构实战》
1.9K30编辑于 2022-03-31 - 来自专栏超级架构师
「数据中心」Cisco数据中心架构：Spine and Leaf架构
如果其中一个顶级交换机发生故障，它只会略微降低整个数据中心的性能。 如果发生链路的超额订阅（即，如果一次生成的流量超过了活动链路上可聚合的流量），则扩展容量的过程是简单的。 对于spine和leaf架构，无论哪一个leaf交换机连接到哪一个服务器，它的流量总是必须通过相同数量的设备才能到达另一个服务器（除非另一个服务器位于同一个leaf上）。 】或者加微信小号【intelligenttimes】 微信公众号 关注微信公众号【首席架构师智库】 微信小号 希望加入的群：架构，云计算，大数据，数据科学，物联网，人工智能，安全，全栈开发，DevOps 点击加入知识星球【首席架构师圈】 微信圈子 志趣相投的同好交流。 点击加入微信圈子【首席架构师圈】 喜马拉雅 路上或者车上了解最新黑科技资讯，架构心得。 点击，收听【智能时刻，架构君和你聊黑科技】 知识星球 认识更多朋友，职场和技术闲聊。 点击加入知识星球【知识和技术】
3.2K10发布于 2020-07-20 - 来自专栏charlieroro
面向数据的架构
DOA是对传统二元架构(即一体式架构和微服务、面向服务的架构)进行翻转的结果。在面向数据的架构中，一体式数据存储是系统的唯一状态源，作用于松耦合、无状态微服务。 面向数据的架构 面向数据的架构(DOA)同SOA一样，围绕小的、松耦合的组件进行组织，但DOA使用两种主要的方式来划分微服务。 由于所有组件存储内部是无状态的，数据通过定义进行隔离。由于组件间只会通过数据存储进行通信，因此环境之间不存在数据泄露的风险。 面向数据的架构比您想象的更近 现今有很多近似面向数据的架构的例子。 与一体式数据类似，GraphQL通常作为范化数据存储层。使用GraphQL作为DOA系统的后端的程度更多与系统架构设计的选择有关：使用与业务逻辑概念相关的概括性架构和表，而非特定数据源的架构和表。 总结 DOA其实是一种事件驱动架构的变种，服务(或组件)使用事件进行交互，而事件来源于数据，因此面向数据的架构准确地说是面向业务逻辑数据的架构，它将数据存储作为整个架构的中心，服务之间通过数据存储和访问简介进行交互
70820发布于 2021-11-24 - 来自专栏全栈程序员必看
大数据架构之– Lambda架构「建议收藏」
一、什么是Lambda架构 Lambda架构由Storm 的作者 [Nathan Marz] 提出， 根据维基百科的定义，Lambda 架构的设计是为了在处理大规模数据时，同时发挥流处理和批处理的优势。 二、Lambda架构组成 Lambda 架构包含三层，Batch Layer、Speed Layer 和 Serving Layer。架构图如下： 1. Lambda架构模型 数据流进入系统后，同时发往Batch Layer和Speed Layer处理。 Lambda逻辑架构 数据从底层的数据源开始，经过各种各样的格式进入大数据平台，在大数据平台中经过Kafka、Flume等数据组件进行收集，然后分成两条线进行计算。 下面是一段[合并数据代码] 参考文章： Lambda架构 – 简书 深入理解大数据架构之——Lambda架构 – Heriam – 博客园 发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn
8.8K14编辑于 2022-09-12 - 来自专栏ThoughtWorks
演进式数据架构
本文借助于《演进式架构》这本书中关于演进式架构体系的描述，探索我们如何在数据这个领域，设计出演进式数据架构。 演进式架构支持跨多个维度的引导性增量变更。 本文便是借助于《演进式架构》这本书中关于演进式架构体系的描述，探索我们如何在数据这个领域，设计出演进式数据架构。 让我们重新审视和定义一下数据架构的类型，那么从大的方向来说我们可以将数据架构划分为一体化架构、分布式架构和领域分布式架构，仔细拆开来看是这样的形态： 单体架构（数据仓库）: 复用业务架构: 和业务系统高度耦合 除了数仓之外，我们可以看到还有基于数据湖的数据架构，而在数据湖架构下，我们也有提供SQL接口，NOSQL接口的数据架构，SQL On Hadoop也是常见的数据湖架构。 ---- 架构解耦与演进 既然数据架构可以分为不同的类型，并且数据架构有着对应的适应度函数进行评估，那么我们可以基于此来探讨数据架构如何进行演进。
54410发布于 2021-02-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号