关于数据仓库的架构及3大类组件工具选型

许多架构方法以这样或那样的方式扩展数据仓库的能力，我们讲集中讨论最本质的问题，在不考虑过多技术细节的情况下，整个层次架构可以被划分为4层： 原始数据层（数据源） 数据仓库架构形态 数据的采集、收集、清洗和转换 两层数据架构（数据集市层） 两层架构就是在前端应用层和 EDW 层增加了数据集市层。数据集市是包含特定主题域信息的低级别存储库。 我知道的国内四大行有3家在用，5大物流公司有4家在用，不少公司在从Teradata 迁移到 GP。 3、转化和加载 转换：用ODS中的增量或者全量数据来刷新DW中的表 加载：每insert数据到一张表都可以称为数据加载 关于ETL工具的选型，这里罗列了一张对比表，基本囊括常用的ETL工具。 3、数据挖掘工具 OLAP是将数据多维视角呈现分析，数据挖掘则是应用的算法来揭示数据的规律性，比如相关性、模式和趋势等。数据挖掘工具就是做这个的，它能让一些算法和过程自动化。

架构师必修的3大法则

最近读到架构演进过程中需要遵循的3大原则,给了我非常好的启发,这里做一详细的读书笔记。 一、时间复杂度法则 该法则指出,随着系统越来越大,其软件开发复杂度成对数增长。 架构师应用这一法则,可以管控功能需求带来的复杂度,保证架构清晰简洁。同时利用自动化测试、静态检查等手段验证架构质量。 通过遵循这3大法则指导架构设计,可以让架构不断地演进,应对需求变化,持续交付高质量的系统。这是一本非常浓缩的好书,给了我架构方面的原则性启发。 这强调了控制复杂度增长的重要性。 架构师要利用模块化、抽象等手段,使复杂度可控,避免复杂度带来失控的风险。 通过遵循这3大法则,架构师可以更好地应对快速迭代的需求,持续交付优秀的系统架构。 以上原则对架构设计的原则性指导。 我也希望自己可以在实践中不断体会这3大法则的价值,严格执行,逐步提高架构能力。如有任何建议,欢迎提出!

数据架构的三大纠缠趋势：数据网格、数据编织和混合架构

他们在处理必须使用混合架构的现实时，被关于看似独立的新趋势（如数据网格和数据编织）的文献轰炸。这些趋势中的每一个都声称是其数据架构的完整模型，以解决“一次无处不在”的问题。 数据编织可以看作是数据网格的技术部分。数据网格中的概念映射到数据编织实现中的真实世界工件。 图 3. 混合架构应允许研发团队订阅销售数据，并在源数据更改时自动复制数据。 混合架构是用于摄取、存储、处理、管理和可视化不同形式因素的数据的技术选择——在本地以及多个云中，可能会根据需要复制数据。 因此，混合架构可以被认为是跨多种形式因素的数据编织的实现。 混合架构可以允许数据生产者在数据中心的本地数据仓库中生成数据和表，并允许云中的数据消费者订阅这些表。 消费者订阅数据生产者生产的数据产品。 混合架构的不同定义是什么？ 混合数据架构有很多定义。混合有严格的定义，能够在不同位置之间自动无缝迁移数据工作负载，例如从本地部署到任何云，或从一个云到另一个云。

测试数据——猜想大验证（3）

有数据，不妨测试一下，非常有趣： 1.各个信用等级的逾期率 其他的都比较符合预期，但A的偏高，我也很纳闷，把数据调出来，从高到低排是这样的： 借的量巨大，一旦逾期，在整个逾期率的计算中必然拖累整体。 看来数据没啥毛病。将来对选择标的进行模拟时，如果加上金额限制，同样没啥问题。如限制借款上限为6000，则逾期率就降低很多： 2.性别，女人比男人靠谱 3.借期，6月和12月是主体，但6月明显逾期率低。

58大数据平台架构演进-图

2021年大数据Hadoop（五）：Hadoop架构

---- Hadoop架构 ​​​​​​​1.x的版本架构模型介绍 文件系统核心模块： NameNode：集群当中的主节点，管理元数据(文件的大小，文件的位置，文件的权限)，主要用于管理集群当中的各种数据 ：NameNode高可用与ResourceManager单节点架构模型 文件系统核心模块： NameNode：集群当中的主节点，主要用于管理集群当中的各种数据，其中NameNode可以有两个，形成高可用状态 ：负责执行主节点ResourceManager分配的任务 第四种：NameNode与ResourceManager高可用架构模型 文件系统核心模块： NameNode：集群当中的主节点，主要用于管理集群当中的各种数据 ，主要用于接收各种任务，通过两个，构建成高可用 NodeManager：Yarn平台的从节点，主要用于处理ResourceManager分配的任务 ​​​​​​​3.x的版本架构模型介绍 Hadoop3 .x的基本架构和Hadoop2.x 类似，但是Hadoop3.x加入很多新特性：如支持多NameNode，同时对HDFS和MapReduce也进行了优化。

爬虫架构|利用Kafka处理数据推送问题（3）架构图

一、需求 1、对于所有任务产生的实时数据，通过Kafka及时推送。 2、对于新加任务需要去历史全量数据表中获取该任务已有的历史数据。 3、爬虫集群在生产数据时需要去全量数据中进行下匹配，如果不存在才会推送给Kafka。 二、架构设计图 ? Kafka+MySQL架构设计 三、结语 欢迎相关人员一起交流。

大数据Python：3大数据分析工具

pd.read_csv('access_logs_parsed.csv', quotechar="'", names=headers) 大约一秒后它应该回复： [6844 rows x 4 columns] In [3] 15 +000... 2 2018-08-01 17:10 www2 www_access 108.162.238.234 - - [01/Aug/2018:17:10:22 +000... 3 admintome resolves to a loopback address: 127.0.1.1; using 192.168.1.153 instead (on interface enp0s3) --------+----+----------+--------------------+ | _c0| _c1| _c2| _c3| 原文标题《Big Data Python: 3 Big Data Analytics Tools》 作者：Bill Ward 译者：February 不代表云加社区观点，更多详情请查看原文链接

架构与架构师3

尤其云时代，IT基础设施包括网络、数据中心、计算基础设施、存储，以及其他子系统都得考虑 贴一张思维导图来说明软件架构涵盖的范围 从图中可以看出，架构师的职责包含技术能力、软技能、运营意识及其他很多方面 架构特征满足三个标准： 1.明确非领域设计的某个注意事项2.影响设计的某些结构项3.是否对应用的成功至关重要 构架决策 架构决策定义了一组关于如何构建系统的规则，构成了系统约束，并指导团队哪些可以做， 哪些不可以做 比如在一个分层架构中，架构师可能会规定只有业务层和服务层可以访问数据库，限制表现层直接调用数据库。 架构定律 虽然架构范围已经大到难以置信，但统一元素仍然存在。 它需要知识以及应用知识的能力 2.影响力用来衡量架构师在项目中应用技能后给项目或公司带来多大的效益 3.领导力确保了架构实践的状态能稳步向前推进，同时培养更多的架构师 能力模型 论能力模型，与开发人员之间对技术方向的侧重有所不同

【数据架构】数据湖与数据仓库之间的五大差异

“清理，打包和结构化以便于消费”，而数据湖更像是一个自然状态的水体。数据从流（源系统）流向湖。用户可以进入湖泊进行检查，采样或潜水。 现代数据架构中的数据湖这也是一个相当不精确的定义。 这通常是为了简化数据模型，并节省昂贵的磁盘存储上的空间，用于提高数据仓库的性能。 相比之下，数据湖保留所有数据。不仅仅是今天正在使用的数据，还有可能使用的数据，甚至可能永远不会被使用的数据。 3.数据湖支持所有用户 在大多数组织中，80％或更多的用户是“运营”的。他们希望获得他们的报告，查看他们的关键绩效指标，或者每天在电子表格中对同一组数据进行分组。 在数据湖中，这些操作报告消费者将利用数据库中的数据的更加结构化的视图，类似于以前在数据仓库中的数据。 另一方面，Hadoop生态系统非常适用于数据湖方法，因为它可以非常容易地适应和扩展非常大的卷，并且可以处理任何数据类型或结构。

2021年大数据Spark（七）：应用架构基本了解

Spark 应用架构-了解 Driver 和Executors 从图中可以看到Spark Application运行到集群上时，由两部分组成：Driver Program和Executors。 Executor是在一个Worker Node上为某应用启动的一个进程，该进程负责运行任务，并且负责将数据存在内存或者磁盘上。 在阶段划分完成和Task创建后， Driver会向Executor发送 Task；  3）、Executor在接收到Task后，会下载Task的运行时依赖，在准备好Task的执行环境后，会开始执行Task Task分为两种：一种是Shuffle Map Task，它实现数据的重新洗牌，洗牌的结果保存到Executor 所在节点的文件系统中；另外一种是Result Task，它负责生成结果数据；  5）、Driver 部分并行处理），就会有多少个 Task，每个 Task 只会处理单一分支上的数据。 

5大架构：细数数据平台的组成与扩展

这种方式有一个弊端是存储的数据量受限于内存的大小，数据量一大，索引也增大，数据就饱和了。 2）第二种方式是把大的索引结构，拆成很多小的索引来存储。 HBase、Cassandra、Bigtable都是通过这种比较小的内存开销来实现读取和存储的平衡 3）列式存储或者面向列的存储（暴力方式）。 列式存储尤其适用于大表扫描，求均值、最大最小值、分组等聚合查询场景。 列式存储特别适合需要加载大的数据块，且数据块分到多个文件中的场景。Druid把一些近线实时数据放到写优化的存储中，然后随着时间的推移逐步把这些数据迁移到读优化的存储中。 3、批处理架构（Hadoop） 如果我们的数据是一次写入，多次读，不在改变的场景，上面可以部署各种复杂的分析型应用。采取批处理模式的hadoop无疑是这种平台最广用和出色的代表了。

六大主流大数据采集平台架构分析

Flume设计成一个分布式的管道架构，可以看作在数据源和目的地之间有一个Agent的网络，支持数据路由。 每一个agent都由Source，Channel和Sink组成。 Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。它的可插拔架构，支持各种不同种类和格式的数据源和数据输出。最后它也同时提供了高可靠和很好的扩展性。 3、Logstash https://github.com/elastic/logstash Logstash是著名的开源数据栈ELK (ElasticSearch, Logstash, Kibana) Logstash的部署架构如下图，当然这只是一种部署的选项。 一个典型的Logstash的配置如下，包括了Input，filter的Output的设置。 总结 我们简单讨论了几种流行的数据收集平台，它们大都提供高可靠和高扩展的数据收集。大多平台都抽象出了输入，输出和中间的缓冲的架构。利用分布式的网络连接，大多数平台都能实现一定程度的扩展性和高可靠性。

3月20日数据动态早报 | 大健康，大数据

数据动态早报，让您了解数据新变化、新创造和新价值。 一、通信行业数据动态 1 5G网络一旦正式商用，除了会使通信业进入新一轮发展期外，还将带动多个规模万亿级别的新兴产业。 多个市场机构预测，车联网、大数据、云计算、智能家居、无人机等典型的物联网细分行业，在技术和应用层面上已相当成熟，但现有4G网络的通讯能力大大限制了上述产业的发展。 【腾讯科技】 二、电子商务数据动态 1 所谓新零售就是个性化地提供服务，线上、线下形式不重要，本质是从传统的品牌、商品、通路、营销等大规模、工业化和大众化转向个性化定制服务。 【南方都市报】 三、互金行业数据动态 1 宜人贷发布金融科技能力共享平台，将向行业内其他机构输出“数据获取”“反欺诈”“精准获客”三大能力，解决目前普遍存在的投资人信用意识薄弱、权威信用评级缺失和团伙欺诈等问题 【人民日报】 四、医疗健康数据动态 1 中国数亿人群日常工作繁忙，节奏极快，身体或多或少处于亚健康状态，存在强大的养生刚需。【大公网】

「数据架构」数据架构的未来

对数据架构师的业务理解已经变得越来越重要，Algmin说，现在它对数据架构师的成功至关重要。 在数据架构师的角色包含更多商业智慧的同时，挖掘和承担技术实现的愿望和能力仍然很重要。 数据架构与企业架构的融合 “数据架构师的热度指数正在上升，但企业架构热度指数非常非常冷，而且已经有一段时间了。” 数据架构的含义 数据架构创新在相关技术领域正经历着类似的模式，这些领域的用例潜力尚处于初级阶段，例如区块链和图形数据库，并且数据架构的角色正在发生变化以适应。 在地平线上：未来的热门数据架构主题 Algmin预测了ML和AI在元数据管理和数据治理中的扩展，比如区块链和分布式账本。“我们将开始看到，作为数据架构师，我们可以做一些真正阻碍我们的组织的事情。” 知识星球 向大咖提问，近距离接触，或者获得私密分享。 点击加入知识星球【首席架构师圈】 微信圈子 志趣相投的同好交流。

三大架构的比较

3、 view层和model层之间存在耦合。 MVP 模型层(Model) 负责存储、检索、操纵来自数据库或者网络的数据。 视图层(View) 用户界面，一般采用XML文件进行界面的描述。 3. MVVM代码实例 1.Model 2.ViewModel 3.接着使用databinding语法 对 xml 进行数据绑定,我们将 Click事件、输出结果都绑定到ViewModel上。 3、独立开发。开发人员可以专注于业务逻辑和数据的开发（ViewModel），设计人员可以专注于页面设计，生成xml代码。 快速，高效的配合整个团队进展项目，才是最合适的架构。

LLM架构管窥：3模式、3原理

研究3天，6篇笔记 【点我头像 查看文章列表】因为咱是懂架构的，所以借助架构模式理解LLM架构并不困难。倒是向量语义叠加、多头注意力原理，颇是费脑细胞。

【企业架构】2022 年 18 大企业架构工具

有些提供拖放小部件，以便开发人员、架构师和管理人员可以创建所有机器、这些机器运行的软件以及数据如何从一台机器流向另一台机器的模型。 所有人都依赖系统中的数据作为快速决策的跳板。 许多工具使用 ArchiMate，这是一种开放式建模标准，旨在捕捉企业架构的大部分复杂性。它旨在与 TOGAF 开放框架密切合作。 18 大企业架构工具 Ardoq Atoll Group SAMU Avolution Abacus BOC Group ADOIT BiZZdesign HoriZZon Capsifi Clausmark 它们一起收集有关您的 IT 基础架构的数据，并将其呈现在其 Fact Sheet 模型中，这是一种用于基本信息的直接交付机制。 Quest Erwin Evolve Quest 的 Erwin Evolve 工具最初是一个数据建模系统，后来发展为提供企业架构和业务流程建模。

【数据架构】数据网格架构模式

在本文中，我将使用架构模式来描述这些交互。 数据网格架构回顾 企业数据网格由许多组件组成（更多详细信息可在此处、此处和此处获得）。 Figure 3, Data Mesh Pattern: Event Streaming Backbone Event Streaming Backbone 中有几个核心托管实体： 由 JSON 模式定义的事件分布在企业数据网格中 】公众号 【jiagoushipro】 【超级架构师】 精彩图文详解架构方法论，架构实践，技术原理，技术趋势。 QQ群 【792862318】深度交流企业架构，业务架构，应用架构，数据架构，技术架构，集成架构，安全架构。以及大数据，云计算，物联网，人工智能等各种新兴技术。 视频号【超级架构师】 1分钟快速了解架构相关的基本概念，模型，方法，经验。 每天1分钟，架构心中熟。 知识星球向大咖提问，近距离接触，或者获得私密资料分享。

2021年大数据HBase（七）：Hbase的架构！【建议收藏】

Hbase的架构 一、Client 客户端，例如：发出HBase操作的请求。 , 处理region的分配或移除 在空闲时间进行数据的负载均衡 通过Zookeeper发布自己的位置给客户端 三、Region Server 处理分配给它的Region , 负责存储HBase的实际数据 ，首先是写入到MemStore 每个列族将有一个MemStore 当MemStore存储快满的时候，整个数据将写入到HDFS中的HFile中 八、StoreFile 每当任何数据被写入HBASE时 INCR），都会保存在WAL中 一旦服务器崩溃，通过回放WAL，就可以实现恢复崩溃之前的数据 物理上存储是Hadoop的Sequence File 十、集群架构 ---- 博客主页：https: 本文由 Lansonli 原创，首发于 CSDN博客 大数据系列文章会每天更新，停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨