首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏京东技术

    工程算法一体化平台架构实践

    整个架构采用了一体化架构,所谓一体化是指整个算法、工程涉及的包括数据、系统等全链路打通,实现数据流的系统化流动,这种方式的好处是形成了业务闭环,在需求、开发、测试和验证整个过程都是透明化,从而减少沟通误差 工程&算法一体化平台 整个工程&算法一体化平台架构如图1所示,包括数据集&标注平台、算法模型训练&部署平台、模型测试&质量评估平台、算法服务网关、服装搭配平台,通过将这些平台全链路打通,形成一体化架构, 打标平台架构上一定要灵活,设计如图2所示,架构上一定要灵活,因为不同的场景其标注需求是不一样的,比如数据存储方面可以考虑像mongodb数据库,是模式自由的,数据存储结构非常灵活;在打标界面方面可以通过插件化模式进行设计 京东内部有一套自己的机器学习平台,该平台目前打通了京东的J-ONE(编译、上线发布、部署一体化的工具平台),可以通过J-ONE部署CPU或GPU应用,从而简化整个部署过程。 一体化平台架构的目的是形成业务闭环,统一数据语言,数据资产沉淀,数据全链路透明流通,数据抽样实时质量评估,提升算法质量。在整个过程中架构边界清晰,系统松耦合,通过闭环服务化内聚化降低组织间沟通成本。

    3.6K31发布于 2019-05-05
  • 来自专栏腾讯云存储

    直播预告| Lakehouse 湖仓一体化架构论坛

    在大模型时代,企业将如何进行湖仓一体化架构选型?下一代Lakehouse架构方向又在哪里?未来面临着怎么样的挑战? 让我们在6月15日举办的以「大模型时代的 OLAP 技术演进」为主题的第58届DataFunSummit:OLAP 线上峰会中,「Lakehouse 湖仓一体化架构」论坛上看头部企业如何做! 精彩内容,扫码报名,免费参会 本次Lakehouse湖仓一体化架构论坛的出品人程力老师,腾讯云数据湖存储的负责人,他对数据湖仓存储架构有着深入的理解与丰富的实践经验。 通过构建两级缓存架构与混合部署,让整个基于对象存储架构构建的查询性能与成本达到了较优的水平。 演讲提纲: 1.GooseFS 加速存储的核心架构 2.GooseFS 在腾讯内部实时 OLAP 搜索场景上的应用落地 3.GooseFS 在低延迟查询搜索请求上的架构演进与性能优化 4.总结 听众收益

    52910编辑于 2024-06-16
  • 来自专栏阿杜的世界

    10个常见软件架构

    原文参见:10 Common Software Architectural Patterns in a nutshell 在开始一个大型项目之前,我们需要进行详细的系统分析,尽量选择合适的架构,这样方便我们快速交付和后期维护升级 ,这篇文章总结了10种常见的架构模式。 在阅读这篇文章的时候,我想到了之前读过的一本书——《企业应用架构模式》,这本书偏理论,但是对理解大型系统的构建很有帮助。 架构模式的定义:架构模式是在给定的场景下,前人总结出来的通用的、可重复利用的解决方案。架构模式和设计模式的作用类似,但是它针对的范围更加广泛。 下面这张图值得收藏,讲了这几种架构模式的trade-off ? image.png

    1.4K30发布于 2018-12-14
  • 模型设计、数据架构、数据治理一体化大数据平台

    本文主要从总体思路、模型设计、数据架构、数据治理四个方面介绍了如何利用大数据平台的特性,构建更贴合大数据应用的数据仓库。          数据集市层是上下三层架构的最上层,通常是由需求场景驱动建设的,并且各集市间垂直构造。在数据集市层,我们可以深度挖掘数据价值。值得注意的是,数据集市层需要能够快速试错。 二、数据架构         数据架构包括数据整合、数据体系、数据服务三部分。其中,数据整合又可以分为结构化、半结构化、非结构化三类。 2.1.2 日志结构化         在传统的架构中,日志的结构化处理是放在数仓体系之外的。 尽管目前数仓架构体系中并不包含非结构化数据特征提取操作,但在未来,这将成为可能。

    29810编辑于 2025-12-23
  • 来自专栏超级架构师

    「软件架构10种常见的软件架构模式

    在主要的软件开发开始之前,我们必须选择一个合适的架构,为我们提供所需的功能和质量属性。因此,在将它们应用于我们的设计之前,我们应该了解不同的体系结构。 ? 什么是架构模式? 根据维基百科, 架构模式是一种通用的、可重用的解决方案,用于解决给定上下文中软件架构中常见的问题。架构模式类似于软件设计模式,但范围更广。 在本文中,我将简要解释以下10种常见的体系结构模式及其用法、优缺点。 10. 解析器模式 此模式用于设计解释用专用语言编写的程序的组件。它主要指定如何计算程序行,即用特定语言编写的句子或表达式。其基本思想是为语言的每个符号建立一个类。 用法 数据库查询语言,如SQL。 架构模式比较 下表总结了每种架构模式的优缺点。 ?

    1.7K11发布于 2020-05-14
  • 一体化架构有疑问)

    是什么让这个简单的架构变得如此特别以至于它被过度炒作?将整个正在运行的应用程序从一体化转移到微服务架构是否值得付出的努力和痛苦?当我们开始在项目中使用微服务时出现了很多类似的问题。 在本博客中,我们将尝试回答这些问题并深入研究微服务架构,并将其与一体化架构进行比较。 什么是微服务?它与一体化有何不同? [2gvoo5y4nn.jpeg] 微服务是小型自主服务工作的集合。 为什么不采用一体化架构? [bqdy8z6pg7.png] 有个主要问题是,如果我们有一个功能完整的一体化应用程序正在运行,为什么要转换?为什么要增加开销并付出额外的努力? 使用一体化架构,我们无法独立扩展每个组件,因此即使大多数组件可能不需要扩展,整个应用程序也需要进行扩展。 可靠性 - 一体化应用的另一个问题是可靠性。 现在我们对一体化和微服务是什么以及他们的优缺点有一个大概的认识。 [k0h9rd7vla.png] 总而言之,一体化架构更适合简单轻量级的应用。

    1.6K50发布于 2018-06-25
  • 来自专栏全栈程序员必看

    Lamp架构_10个人公司的架构

    一:LAMP 架构简介 LAMP 是目前成熟的一种企业网站应用模式之一,指的是协同工作的一套系统和相关软件的整合,可提供PHP动态web站点应用及开发环境,LAMP 经过十年的完善各个组件间的兼容性 二:LAMP 架构构成 LAMP 组件:Linux, Apache/Nginx,mysql/mariadb,PHP/Perl/Python Linux 构建的基础,支持web的操作操作系统

    88610编辑于 2022-11-03
  • 来自专栏大数据解决方案

    实时离线一体化技术架构(万字,15张图)

    即时查询系统 房屋租赁费用、水电费用、物业管理费用等数据的有效期,一般是不定的,比如办公租赁可能预交费用5年、10年。那么这种数据,对于业务来说,仍然属于线上数据,是不可归档的数据。 : 架构实现 数据实时同步—Confluent Platform架构实现 debezuim:业务库使用的是MySql,如果在即时查询系统中查询到的结果与业务系统查询结果同等,需要实时同步业务数据,并实时提供查询能力 实时离线一体化系统之技术架构 实时离线一体化系统之数据流 实时离线一体化接入 大数据的来源主要分为三个: 第一个来源是内部系统的Mysql数据库(业务分析) 第二个来源是应用App(用户轨迹) 这个问题跟我们的需求演化和公司系统架构有关系,presto从支持标准的sql上看,可以减轻业务侧对现有的功能sql改造,简单来说就是为了兼容现状。 展望未来 1、基于整合后的架构,未来我们可以提供更多的能力,让更多的存储引擎支持Hive Metastore,使HMS的元数据服务支持丰富化。

    2.2K20发布于 2021-10-22
  • 来自专栏喔家ArchiSelf

    软件架构10个常见模式

    在开始写代码之前,我们需要选择一个合适的架构,这个架构将决定软件实施过程中的功能属性和质量属性。因此,了解软件设计中的不同架构模式对我们的软件设计会有较大的帮助。 什么是架构模式? 根据维基百科:架构模式是针对特定软件架构场景常见问题的通用、可重用解决方案。架构模式类似于软件设计模式,但范围更广。本文将简要解释10种常见架构模式及其用法、优缺点。 应用场景: 一般的web应用程序架构 Django和Rails等Web框架 一般的GUI 应用程序 模型-视图-控制器模式 9. 黑板模式 这种模式对于没有确定解决方案策略的问题非常有用。 应用场景: 语音识别 车辆识别及追踪 蛋白质结构识别 声纳信号的解释 黑板模式 10. 解释器模式 这种模式用于设计一个解释专用语言编写的程序组件。 解释器模式 下面的表格总结了每种架构模式的优缺点。 希望觉得这篇文章有用,我们也很想听听你的想法。

    1.4K40发布于 2019-04-25
  • 来自专栏一个会写诗的程序员的博客

    软件架构10个常见模式

    在开始写代码之前,我们需要选择一个合适的架构,这个架构将决定软件实施过程中的功能属性和质量属性。因此,了解软件设计中的不同架构模式对我们的软件设计会有较大的帮助。 ? 什么是架构模式? 根据维基百科:架构模式是针对特定软件架构场景常见问题的通用、可重用解决方案。架构模式类似于软件设计模式,但范围更广。本文将简要解释10种常见架构模式及其用法、优缺点。 应用场景: 一般的web应用程序架构 Django和Rails等Web框架 一般的GUI 应用程序 ? 9. 黑板模式 这种模式对于没有确定解决方案策略的问题非常有用。 10. 解释器模式 这种模式用于设计一个解释专用语言编写的程序组件。它主要指定如何评估每一行程序,即用特定语言编写的句子或表达式。其基本思想是语言的每个符号都有一个类。 下面的表格总结了每种架构模式的优缺点。 ? 参考链接:https://www.jianshu.com/p/afdc8e337035

    1.5K20发布于 2020-05-08
  • 来自专栏铭毅天下

    推荐|资深架构1010 条干货职场心得

    公司为架构师和技术专家付的工资,投资人给创业团队投的钱,从某种意义上讲都是为了他们过去的成长买的单。 心理健康更多的是开放心态,保持乐观等等的,可以看看相关的书籍,我这半吊子的就不误人子弟了...... 10. 作者介绍 死敌wen,搜索架构师,毕业于复旦大学,Elastic认证工程师,死磕Elasticsearch知识星球嘉宾,Elastic中文社区责任编辑。 在上海有十余年工作经验,履历覆盖了国内外多家互联网企业和传统企业,在搜索领域有超6年积累,覆盖了从架构规划、系统搭建、全链路监控优化、运维保障和团队组建等各个领域,有从零搭建大规模搜索系统经验。

    53120编辑于 2022-12-22
  • 来自专栏闲余说

    架构设计 10-可扩展架构之面向服务拆分架构

    导读:《架构设计》系列为极客时间李运华老师《从0开始学架构》课程笔记。本文为第十部分。主要介绍了如何面向服务拆分架构,首先介绍了 SOA 架构,接着介绍了微服务架构,以及二者对比。 微服务架构并非“银弹”,架构师要合理采用,避免掉入陷阱。 关注本公众号 回复 “架构设计” 获取架构设计笔记完整思维导图 面向服务拆分架构典型架构主要要 SOA 架构和微服务架构 SOA(Service Oriented Architecture)面向服务的架构 个人思考 SOA 架构在现代网络服务中使用的较少,主要用于传统软件行业。微服务架构在近些年比较流行,尤其在互联网行业面临多端复杂接入、场景也随之复杂,人们不得不寻求更适合的架构来解决这些问题。 因此,架构师要合理采用微服务架构。 reference 《从 0 开始学架构》 https://time.geekbang.org/column/intro/100006601?tab=catalog

    63020编辑于 2022-08-19
  • mapvthree Engine 设计分析——二三维一体化架构设计

    mapvthree Engine 作为二三维一体化渲染引擎的核心,其设计理念既不同于传统地图引擎,也不同于纯粹的 3D 渲染引擎。 本文将从架构设计的角度,深入分析 Engine 如何巧妙地融合两种设计范式,创造出独特的二三维一体化架构。 四、二三维一体化的实现机制4.1 坐标系统统一Engine 通过统一的坐标转换接口,实现了地理坐标和 3D 坐标的统一:// 地理坐标 → 3D 坐标(无论使用什么投影)const position = 它既不是简单的地图引擎,也不是纯粹的 3D 渲染引擎,而是将两种设计范式巧妙融合的创新架构。 地理坐标系统和 3D 坐标系统通过统一接口无缝转换模块化设计:功能模块职责清晰,易于扩展和维护这种设计使得 Engine 能够满足从传统地图应用到复杂 3D 场景的各种需求,为开发者提供了一个既强大又灵活的二三维一体化解决方案

    21810编辑于 2025-11-24
  • 来自专栏云云众生s

    GenAI技术栈架构指南—10 个工具

    现代数据湖参考架构中可以找到的这 10 项功能,以及每个功能的供应商工具和库。 译自 The Architect’s Guide to the GenAI Tech Stack — 10 Tools,作者 Keith Pijanowski。 基于这一思路,我们撰写了另一篇关于如何使用现代数据湖 参考架构来支持 AI/ML 需求的论文。下图展示了 现代数据湖参考架构,其中突出了生成式 AI 所需的功能。 在这个前 10 名单中,每个条目都是支持生成式 AI 所需的功能。 1. 数据湖 企业数据湖建立在对象存储之上。 artificial intelligence"]}) {snippet} } } 下面列出了四个流行的向量数据库: Milvus Pgvector Pinecone Weaviate 10

    64210编辑于 2024-06-05
  • 微服务架构10个实用设计模式

    1 微服务架构 微服务架构的重要特征 微服务架构的优点 微服务架构的缺点 何时使用微服务架构 2 微服务架构的设计模式 独享数据库(Database per Microservice) 事件源(Event 通过阅读这篇文章,你会学到: 微服务架构 微服务架构的优势 微服务架构的劣势 何时使用微服务架构 最重要的微服务架构设计模式,包括其优缺点、用例、上下文、技术栈示例及可用资源。 请注意,本清单中的大部分设计模式常出现在多种语境中,并且可以在非微服务架构中使用。而我将在微服务这个特定语境中介绍它们。 1 微服务架构 什么是微服务架构?有很多种定义方法。 何时使用微服务架构 大规模 Web 应用开发 跨团队企业级应用协作开发 长期收益优先于短期收益 团队拥有能够设计微服务架构的软件架构师或高级工程师 2 微服务架构的设计模式 独享数据库(Database 单体架构会使用大型中央数据库。即使转移到微服务架构许多架构师仍倾向于保持数据库不变。

    1.3K00编辑于 2024-11-21
  • 来自专栏喔家ArchiSelf

    大模型应用的10架构挑战

    基于笔者近年来的探索与实践,这里列举了面向大模型应用系统架构设计的10个挑战。 1. 生产环境的挑战——推理框架的选择 对于大模型应用而言,生成环境的运行时是一个推理架构架构的核心在于权衡,推理框架的选择同样是一个架构权衡的过程,没有最好,需要关注合适于目标需求的推理框架 2. 尽管我们已经有了一些探索,例如《大模型应用的10架构模式》(https://mp.weixin.qq.com/s? 大模型应用的架构模式不仅仅是一种范式,很可能成为未来智能系统赖以成长的框架。随着我们们继续探索和创新,还会涌现出很多新的架构模式。 8. 在设计系统架构时,我们需要根据具体需求和技术挑战来判断是否需要引入大模型,以确保系统的高效性和可靠性。 10.

    1.2K10编辑于 2024-12-24
  • 来自专栏侯哥的Python分享

    MySQL高级10-InnoDB引擎存储架构

    Roll_pointer:每次对某条记录进行改动时,都会把旧的版本写入到undo日志中,然后这个隐藏列就相当于一个指针,通过它可以找到该记录修改前的信息 二、整体架构   MySQL5.5 版本开始,默认使用 InnoDB 存储引擎,它擅长事务处理,具有崩溃恢复特性,在日常开发中使用非常广泛,下面是 InnoDB 架构图,左侧为内存架构,右侧为磁盘架构。  三、内存结构   内存架构中主要分为:Buffer Poll(内存缓冲池)、Change Buffer()、LogBuffer()、Adaptive Hash Index()四个区。    innodb_flush_log_at_trx_commit | 1 | +--------------------------------+-------+ 2 rows in set (0.00 sec) 四、磁盘架构

    70421编辑于 2023-09-20
  • 来自专栏架构之美

    10个常见的软件架构模式

    在开始主要的代码开发之前,我们必须选择一种合适的体系架构,它将为我们提供所需的功能和质量属性。因此,在将它们应用到我们的设计之前,应该先了解不同的体系结构。 ? - 什么是架构模式 - 根据维基百科, 架构模式是在给定上下文中解决软件架构中常见问题的通用、可重用的解决方案。架构模式类似于软件设计模式,但范围更广。 在本文中,我会简单介绍下列10种常见的架构模式,及其用途、优势和劣势。 - 分层模式 - 该模式可用于构建可分解为子任务组的程序,其中每个都处于特定的抽象级别。 应用 主流编程语言的互联网应用架构 网络框架,如Django 和 Rails. ? - 架构模式对比 - 模式 优点 缺点 分层模式 一个底层服务可以被不同的高层服务使用;分层结果更容易进行标准化,因为可以清晰地定义每个层级层级内的修改不会影响其它层 不是普适性的架构

    1.1K41发布于 2020-10-30
  • 架构师必备的 10 大软技能

    对于新手架构师而言,掌握这些软技能,是从技术骨干迈向卓越架构师的必经之路。以下是架构师职业生涯中不可或缺的 10 大软技能,帮助你全方位提升职业素养与管理能力。​ 三、决策能力:在不确定性中把握方向​ 架构设计过程中充满了各种选择与决策,从技术选型到架构方案的敲定,每一个决策都可能影响项目的成败。 八、文档撰写:清晰记录架构设计的 “蓝图”​ 完整、清晰的技术文档是架构设计的重要组成部分,它有助于团队成员理解架构思路、便于后续系统维护与扩展。 架构师要掌握良好的文档撰写能力,能够将复杂的架构设计以简洁明了、逻辑清晰的方式呈现出来。 通过持续的自我反思,实现个人能力与架构设计水平的双重提升。​ 对于新手架构师而言,掌握这 10 大软技能并非一蹴而就,需要在实际工作中不断实践、积累与总结。

    52610编辑于 2025-10-14
  • 来自专栏Apache Doris

    Apache Doris AI 能力揭秘(四):HSAP 一体化混合搜索架构全解

    多系统拼接方案的痛点为实现混合搜索的能力,许多系统采用“向量数据库 + 搜索数据库 + OLAP 数据库”组合式架构来支撑类似能力。 而 Apache Doris HSAP 能力的实现并非一蹴而就,整体架构的演进分为三个阶段,如下所示。 为了让搜索能力真正适配 AI Agent 的分析场景,Doris 对倒排索引进行了系统化的架构设计与工程优化。  而 Doris 的向量索引与倒排索引采用一体化架构,用户可以像处理倒排索引一样异步构建向量索引,最大限度降低对写入性能的影响。同时,调整向量索引构建参数时,用户可以轻松进行索引的删除与重建。 以 SQ8 为例:在 768 维的 Cohere-MEDIUM-1M 与 Cohere-LARGE-10M 数据集测试中,SQ8 可将索引大小压缩至 FLAT 的约 1/3。

    26110编辑于 2025-12-22
领券