- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据解决方案
架构师 | 数据仓库建设灵魂10问
笔者先后在外企，互联网，金融行业工作，从最初的ODS，DM架构到后面ODS，DWD，DWS，ADS架构都有较深的理解和应用，甚至在相当长的时间内，数仓设计一直作为一个常规的面试题目，来考核各层级的数仓开发和架构师 然而在实际的沟通的交流中，发现很多同学虽然对同样的架构分层设计多多少少都能说出来一些，但是反过来再问为什么这样分层，答案就五花八门了。 这篇文章主要针对数仓设计来谈谈我的看法，因为不同的规模的公司对数仓建设的目的有差异，这里从架构师角度仅讨论中大型企业的数仓架构建设。本文主要以一问一答式来展开讨论。 1.一般用数仓来做什么？ 数仓一般分为实时和离线数仓，现在绝大多数公司采用的是lambda架构来统筹管理实时和离线数据，那么就有这样一个问题，数仓能干啥？ 如果你负责的仅仅是一个小部门的数据，而公司已经有一个数仓平台了。那么你或许仅需要构建一个你自己的应用层，或者集市层。所以接下来我讲的整个公司的数仓架构。
70140发布于 2021-03-24 - 来自专栏Java项目实战
架构优化：实现每秒处理10万+订单热点数据
引言在当今数字化世界中，数据是企业的生命线。对于在线零售商和电子商务平台来说，订单数据是最宝贵的资产之一。每秒处理10万+订单数据不仅可以提高业务的效率，还可以为企业带来更多机会和竞争优势。 本文将探讨如何通过优化架构来实现这一目标，并提供代码示例以供参考。架构设计要实现每秒处理10万+订单数据的目标，我们需要一个高度可扩展且高性能的架构。 以下是一个基本的架构设计：组件说明负载均衡器（Load Balancer）：负载均衡器用于将传入的请求分发到多个处理节点上，确保系统的负载均衡。 ')总结通过以上架构和优化步骤，我们可以实现每秒处理10万+订单数据的目标。 如果觉得这篇文章对您有帮助，请点赞并分享给您的同事和朋友，让我们一起讨论如何优化订单处理架构！
1.4K30编辑于 2023-09-04 - 来自专栏阿杜的世界
10个常见软件架构
原文参见：10 Common Software Architectural Patterns in a nutshell 在开始一个大型项目之前，我们需要进行详细的系统分析，尽量选择合适的架构，这样方便我们快速交付和后期维护升级 ，这篇文章总结了10种常见的架构模式。 架构模式的定义：架构模式是在给定的场景下，前人总结出来的通用的、可重复利用的解决方案。架构模式和设计模式的作用类似，但是它针对的范围更加广泛。 、业务逻辑层（domain layer）、数据访问层（persistence layer）。 这种系统的特点是，数据有一个数据源进入系统，然后会被分成不同的处理阶段进行处理，每个处理节点都可以看做是filter，数据通过Pipe（管道）从一个处理节点发送到下一个处理节点。
1.4K30发布于 2018-12-14 - 来自专栏超级架构师
「数据架构」数据架构的未来
对数据架构师的业务理解已经变得越来越重要，Algmin说，现在它对数据架构师的成功至关重要。 在数据架构师的角色包含更多商业智慧的同时，挖掘和承担技术实现的愿望和能力仍然很重要。 数据架构的扩展作用是他继续看到的。 最近的数据体系结构的未觉察 阿尔格明接着研究了最近的预测，结果并没有如预期的那样： “数据仓库死了！ 数据架构与企业架构的融合 “数据架构师的热度指数正在上升，但企业架构热度指数非常非常冷，而且已经有一段时间了。” 数据架构的含义 数据架构创新在相关技术领域正经历着类似的模式，这些领域的用例潜力尚处于初级阶段，例如区块链和图形数据库，并且数据架构的角色正在发生变化以适应。 在地平线上：未来的热门数据架构主题 Algmin预测了ML和AI在元数据管理和数据治理中的扩展，比如区块链和分布式账本。“我们将开始看到，作为数据架构师，我们可以做一些真正阻碍我们的组织的事情。”
65920发布于 2020-07-20 - 来自专栏超级架构师
「软件架构」10种常见的软件架构模式
在主要的软件开发开始之前，我们必须选择一个合适的架构，为我们提供所需的功能和质量属性。因此，在将它们应用于我们的设计之前，我们应该了解不同的体系结构。 ? 什么是架构模式？ 根据维基百科， 架构模式是一种通用的、可重用的解决方案，用于解决给定上下文中软件架构中常见的问题。架构模式类似于软件设计模式，但范围更广。 在本文中，我将简要解释以下10种常见的体系结构模式及其用法、优缺点。 10. 解析器模式 此模式用于设计解释用专用语言编写的程序的组件。它主要指定如何计算程序行，即用特定语言编写的句子或表达式。其基本思想是为语言的每个符号建立一个类。 用法 数据库查询语言，如SQL。 架构模式比较 下表总结了每种架构模式的优缺点。 ?
1.7K11发布于 2020-05-14 - 来自专栏Java高级架构攻城狮
1万属性，100亿数据，每秒10万吞吐，架构如何设计？
星空.png 前言 有一类业务场景，没有固定的schema存储，却有着海量的数据行数，架构上如何来实现这类业务的存储与检索呢？58最核心的数据“帖子”的架构实现技术细节，今天和大家聊一聊。 亿数据量，1万属性，多属性组合查询，10万并发查询的技术难题呢？ ，100亿的数据量，分256库，通过ext存储异构业务数据，使用mysql存储，上层架了一个帖子中心服务，使用memcache做缓存，就是这样一个并不复杂的架构，解决了业务的大问题。 ps：该服务的底层存储在16年全面切换为了自研存储引擎，替换了mysql，但架构理念仍未变。 五、总结 文章写了很长，最后做一个简单总结，面对100亿数据量，1万列属性，10万吞吐量的业务需求，可以采用了元数据服务、属性服务、搜索服务来解决： 一个解决存储问题 一个解决品类解耦问题 一个解决检索问题
2.1K20发布于 2019-05-03 - 来自专栏架构师之路
1万属性，100亿数据，每秒10万吞吐，架构如何设计？
有一类业务场景，没有固定的schema存储，却有着海量的数据行数，架构上如何来实现这类业务的存储与检索呢？ 1万属性，100亿数据，10万吞吐，今天和大家聊一聊，这一类“分类信息业务”架构的设计实践。 一、背景描述及业务介绍 什么是分类信息平台最核心的数据？ 100亿数据量，1万属性，多属性组合查询，10万并发查询的技术难题呢？ ，100亿的数据量，分256库，通过ext存储异构业务数据，使用mysql存储，上层架了一个帖子中心服务，使用memcache做缓存，就是这样一个并不复杂的架构，解决了业务的大问题。 架构师之路-分享技术思路 推荐文章： 《被查询的列，为啥可以放到索引里？》
1.2K20编辑于 2022-09-02 - 来自专栏超级架构师
【数据架构】数据网格架构模式
但是，唉，没有单一的产品可以为您带来数据网格。相反，企业的数据网格由许多常用组件组成（请参阅下一节数据网格架构回顾）。 但成功的关键是了解这些组件如何相互作用。 在本文中，我将使用架构模式来描述这些交互。 数据网格架构回顾 企业数据网格由许多组件组成（更多详细信息可在此处、此处和此处获得）。 】公众号 【jiagoushipro】 【超级架构师】 精彩图文详解架构方法论，架构实践，技术原理，技术趋势。 QQ群 【792862318】深度交流企业架构，业务架构，应用架构，数据架构，技术架构，集成架构，安全架构。以及大数据，云计算，物联网，人工智能等各种新兴技术。 知识星球【职场和技术】微博【智能时刻】智能时刻哔哩哔哩【超级架构师】抖音【cea_cio】超级架构师快手【cea_cio_cto】超级架构师 小红书【cea_csa_cto】超级架构师 谢谢大家关注
78020编辑于 2022-04-06 - 来自专栏全栈程序员必看
Lamp架构_10个人公司的架构图
一：LAMP 架构简介 LAMP 是目前成熟的一种企业网站应用模式之一，指的是协同工作的一套系统和相关软件的整合，可提供PHP动态web站点应用及开发环境，LAMP 经过十年的完善各个组件间的兼容性 ，协作能力，稳定等方面也不断增强（注：Apache服务是一个静态网站，它里面的测试页都是以HTML的格式结尾，以HTML写出的网站都是静态的，没有什么功能，没有办法去关联后台的数据库，所以说他只能做一个展示的页面 二：LAMP 架构构成 LAMP 组件：Linux， Apache/Nginx，mysql/mariadb，PHP/Perl/Python Linux 构建的基础，支持web的操作操作系统 （AMP等软件也支持Windows，Unix 等系统） Apache lamp 前段静态页面处理服务器，面向用户提供网页的访问，发送网页，图片等文件 MySQL/MariaDB LAMP 后端数据服务器 （开源关系型数据库系统），用于存储网站数据（账户信息，产品信息，客户资料等）及提供数据查询 PHP/Perl/Python 动态网页开发语言，负责解析PHP动态网页，提供web应用程序的开发及运行环境
88610编辑于 2022-11-03 - 来自专栏喔家ArchiSelf
软件架构的10个常见模式
在开始写代码之前，我们需要选择一个合适的架构，这个架构将决定软件实施过程中的功能属性和质量属性。因此，了解软件设计中的不同架构模式对我们的软件设计会有较大的帮助。 什么是架构模式？ 根据维基百科：架构模式是针对特定软件架构场景常见问题的通用、可重用解决方案。架构模式类似于软件设计模式，但范围更广。本文将简要解释10种常见架构模式及其用法、优缺点。 应用场景： 在数据库复制中，主数据库被视为权威源数据库，从数据库与之同步。 通过总线连接到计算机系统(主驱动器和从驱动器)的外围设备。 进程内的多线程应用。 应用场景： 语音识别 车辆识别及追踪 蛋白质结构识别 声纳信号的解释 黑板模式 10. 解释器模式 这种模式用于设计一个解释专用语言编写的程序组件。 应用场景： 数据库查询语言，如SQL。 用于描述通信协议的语言。 解释器模式 下面的表格总结了每种架构模式的优缺点。 希望觉得这篇文章有用，我们也很想听听你的想法。
1.4K40发布于 2019-04-25 - 来自专栏一个会写诗的程序员的博客
软件架构的10个常见模式
在开始写代码之前，我们需要选择一个合适的架构，这个架构将决定软件实施过程中的功能属性和质量属性。因此，了解软件设计中的不同架构模式对我们的软件设计会有较大的帮助。 ? 什么是架构模式？ 根据维基百科：架构模式是针对特定软件架构场景常见问题的通用、可重用解决方案。架构模式类似于软件设计模式，但范围更广。本文将简要解释10种常见架构模式及其用法、优缺点。 应用场景： 在数据库复制中，主数据库被视为权威源数据库，从数据库与之同步。 通过总线连接到计算机系统(主驱动器和从驱动器)的外围设备。 进程内的多线程应用。 ? 组件可以生成添加到黑板上的新数据对象。组件在黑板上查找特定类型的数据，并通过与现有的知识源进行模式匹配找到这些数据。 应用场景： 语音识别 车辆识别及追踪 蛋白质结构识别 声纳信号的解释 ? 10. 应用场景： 数据库查询语言，如SQL。 用于描述通信协议的语言。 ? 下面的表格总结了每种架构模式的优缺点。 ? 参考链接：https://www.jianshu.com/p/afdc8e337035
1.5K20发布于 2020-05-08 - 来自专栏ATYUN订阅号
数据科学家应该知道的10个深度学习的高级架构！
为了保持文章内容的简洁，本文只列出在计算机视觉领域取得成功的架构。 ? 内容 我们所说的高级架构指的是什么？ 计算机视觉任务类型 深度学习架构清单 我们所说的高级架构指的是什么? 高级架构主要可以在ImageNet中看到，你在ImageNet中的任务是解决一个问题，比如使用给定的数据进行图像识别。 然而，AlexNet在使用GPU的情况下，将训练速度提高了10倍。 尽管目前有点过时，但AlexNet仍然被用作应用深度神经网络的起点，无论是在计算机视觉还是语音识别方面。 2. 10. GAN GAN是一种完全不同的神经网络架构，在这种架构中，神经网络被用来生成一个全新的图像，而这个新图像并不存在于训练数据集里，但在数据集里是足够真实的。 此文为编译作品，作者FAIZAN SHAIKH，原文链接：https://www.analyticsvidhya.com/blog/2017/08/10-advanced-deep-learning-architectures-data-scientists
1.1K50发布于 2018-03-02 - 来自专栏铭毅天下
推荐｜资深架构师 10 年 10 条干货职场心得
公司为架构师和技术专家付的工资，投资人给创业团队投的钱，从某种意义上讲都是为了他们过去的成长买的单。 心理健康更多的是开放心态，保持乐观等等的，可以看看相关的书籍，我这半吊子的就不误人子弟了...... 10. 作者介绍 死敌wen，搜索架构师，毕业于复旦大学，Elastic认证工程师，死磕Elasticsearch知识星球嘉宾，Elastic中文社区责任编辑。 在上海有十余年工作经验，履历覆盖了国内外多家互联网企业和传统企业，在搜索领域有超6年积累，覆盖了从架构规划、系统搭建、全链路监控优化、运维保障和团队组建等各个领域，有从零搭建大规模搜索系统经验。
53120编辑于 2022-12-22 - 来自专栏闲余说
架构设计 10-可扩展架构之面向服务拆分架构
导读：《架构设计》系列为极客时间李运华老师《从0开始学架构》课程笔记。本文为第十部分。主要介绍了如何面向服务拆分架构，首先介绍了 SOA 架构，接着介绍了微服务架构，以及二者对比。 微服务架构并非“银弹”，架构师要合理采用，避免掉入陷阱。 关注本公众号 回复 “架构设计” 获取架构设计笔记完整思维导图 面向服务拆分架构典型架构主要要 SOA 架构和微服务架构 SOA(Service Oriented Architecture)面向服务的架构 SOA 最广为人诟病的就是 ESB，ESB 需要实现与各种系统间的协议转换、数据转换、透明的动态路由等功能。 服务安全： 服务安全主要分为三部分：接入安全、数据安全、传输安全。
63020编辑于 2022-08-19 - 来自专栏DevOps
大数据架构：全网最全大数据架构生态
简介 随着大数据行业的发展，大数据生态圈中相关的技术也在一直迭代进步，作者有幸亲身经历了国内大数据行业从零到一的发展历程，通过本文希望能够帮助大家快速构建大数据生态圈完整知识体系。 目前大数据生态圈中的核心技术总结下来如图1所示，分为以下9类，下面分别介绍。 1、数据采集技术框架 数据采集也被称为数据同步。 随着互联网、移动互联网、物联网等技术的兴起，产生了海量数据。 这些数据散落在各个地方，我们需要将这些数据融合到一起，然后从这些海量数据中计算出一些有价值的内容。此时第一步需要做的是把数据采集过来。数据采集是大数据的基础，没有数据采集，何谈大数据！ （2）实时数据计算 业内最典型的实时数据计算场景是天猫“双十一”的数据大屏。 数据大屏中展现的成交总金额、订单总量等数据指标，都是实时计算出来的。 之后，如果想继续使用高级功能及商业化服务，则需要付费购买授权，如果只使用基础功能，则可以继续免费使用； CDP：Cloudera 公司在 2018 年 10 月份收购了 Hortonworks，之后推出了新一代的大数据平台产品
1.6K10编辑于 2024-03-29 - 来自专栏程序那些事
架构之:数据流架构
在日常的工作中，我们会经常遇到这种数据处理的任务，那么对于这样的任务我们就可以采用数据流架构。 数据流架构 在实际工作中的流有很多种，最常见的就是I/O流，I / O缓冲区，管道等。 数据的流向可以是带有循环的拓扑图，没有循环的线性结构或者树形结构等。 数据流架构的主要目的是实现重用和方便的修改。 它适用于在顺序定义的输入和输出上进行一系列定义明确的独立数据转换或计算，例如编译器和业务数据处理应用程序。一般来说有三种基本的数据流结构。 顺序批处理 顺序批处理是最常见也是最基础的数据流架构。 这种架构的主要优点在于它的并发和增量执行。 这种模式下，最重要的组件就是过滤器，过滤器是独立的数据流转换器。它转换输入数据流的数据，对其进行处理，并将转换后的数据流写入管道以供下一个过滤器处理。 总结 上面我们介绍了几种数据流的架构方式，希望大家能够喜欢。
1K51发布于 2021-07-15 - 来自专栏Ryan Miao
现代企业架构框架-数据架构
应用架构：https://mp.weixin.qq.com/s/HGRcbtq9E4j8ZuSpw3LFrQ 数据架构描述的是企业经营过程中所需数据的结构及其管理方法，其目标是将业务需要转换为数据需求 值得一提的是，数据架构不等于数据中台，数据中台是一种企业架构设计的整体结果，包含了不同视角（业务、应用，数据、技术），而数据架构是数据视角。 5.1 数据架构元模型综述 数据架构的内容元模型包括“结构”、“端口”两个部分，如下图所示： 结构部分用来对数据模型、数据处理建模，其中包括数据对象、数据组件 端口部分用来对数据模型的边界建模，其中包括数据服务 5.2 数据架构元模型应用 5.2.1 平台化趋势对数据架构提出的新挑战 长久以来，业界对数据架构的通用做法是：对于运行类（Operational）场景和分析类（Analytical）场景， 应该使用不同的设计方法和技术支撑 运行类场景的数据架构设计，目前的关注点在于分 布式架构下，如何建立企业级一致的数据标准体系、 数据所有权定义以及数据自描述能力，为企业级的 数据治理以及对于分析类场景的支持奠定基础。
1K20编辑于 2022-09-23 - 来自专栏程序那些事
架构之:数据流架构
文章目录 简介 数据流架构 顺序批处理 管道和过滤器 流程控制 总结 简介 有时候我们的系统主要是对输入的数据进行处理和转换，这些处理和转换是互相独立的，在这种情况下，输入的数据经过转换之后被放到指定的输出中去 在日常的工作中，我们会经常遇到这种数据处理的任务，那么对于这样的任务我们就可以采用数据流架构。 数据流架构 在实际工作中的流有很多种，最常见的就是I/O流，I / O缓冲区，管道等。 数据的流向可以是带有循环的拓扑图，没有循环的线性结构或者树形结构等。 数据流架构的主要目的是实现重用和方便的修改。 它适用于在顺序定义的输入和输出上进行一系列定义明确的独立数据转换或计算，例如编译器和业务数据处理应用程序。 一般来说有三种基本的数据流结构。 顺序批处理 顺序批处理是最常见也是最基础的数据流架构。 总结 上面我们介绍了几种数据流的架构方式，希望大家能够喜欢。
1.2K20发布于 2021-06-18 - 来自专栏云云众生s
GenAI技术栈架构指南—10 个工具
现代数据湖参考架构中可以找到的这 10 项功能，以及每个功能的供应商工具和库。 我之前写过关于 现代数据湖参考架构，解决了每个企业面临的挑战 — 更多数据、老化的 Hadoop 工具（特别是 HDFS）以及对 RESTful API（S3）和性能的更大需求 — 但我想填补一些空白。 基于这一思路，我们撰写了另一篇关于如何使用现代数据湖 参考架构来支持 AI/ML 需求的论文。下图展示了 现代数据湖参考架构，其中突出了生成式 AI 所需的功能。 来源： 现代数据湖中的 AI/ML 这两篇论文都没有提到特定的供应商或工具。我现在想讨论构建现代数据湖所需的供应商和工具。在这个前 10 名单中，每个条目都是支持生成式 AI 所需的功能。 1. ： Milvus Pgvector Pinecone Weaviate 10.
64110编辑于 2024-06-05 微服务架构：10个实用设计模式
1 微服务架构 微服务架构的重要特征 微服务架构的优点 微服务架构的缺点 何时使用微服务架构 2 微服务架构的设计模式 独享数据库（Database per Microservice） 事件源（Event 何时使用微服务架构 大规模 Web 应用开发 跨团队企业级应用协作开发 长期收益优先于短期收益 团队拥有能够设计微服务架构的软件架构师或高级工程师 2 微服务架构的设计模式 独享数据库（Database 单体架构会使用大型中央数据库。即使转移到微服务架构许多架构师仍倾向于保持数据库不变。 SQL 数据库的低可伸缩性事务型系统 在服务可以同步交换数据（例如，通过 API）的简单微服务架构中。 你无法使用传统的两阶段提交协议，因为它要么不可伸缩（关系数据库），要么不被支持（多数非关系数据库）。 但您还是可以在微服务架构中使用 Saga 模式实现分布式事务。
1.3K00编辑于 2024-11-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号