- 综合排序
- 最热优先
- 最新优先
- 来自专栏京东技术
工程算法一体化平台架构实践
整个架构采用了一体化架构，所谓一体化是指整个算法、工程涉及的包括数据、系统等全链路打通，实现数据流的系统化流动，这种方式的好处是形成了业务闭环，在需求、开发、测试和验证整个过程都是透明化，从而减少沟通误差 工程&算法一体化平台 整个工程&算法一体化平台架构如图1所示，包括数据集&标注平台、算法模型训练&部署平台、模型测试&质量评估平台、算法服务网关、服装搭配平台，通过将这些平台全链路打通，形成一体化架构， 打标平台架构上一定要灵活，设计如图2所示，架构上一定要灵活，因为不同的场景其标注需求是不一样的，比如数据存储方面可以考虑像mongodb数据库，是模式自由的，数据存储结构非常灵活；在打标界面方面可以通过插件化模式进行设计 京东内部有一套自己的机器学习平台，该平台目前打通了京东的J-ONE（编译、上线发布、部署一体化的工具平台），可以通过J-ONE部署CPU或GPU应用，从而简化整个部署过程。 一体化平台架构的目的是形成业务闭环，统一数据语言，数据资产沉淀，数据全链路透明流通，数据抽样实时质量评估，提升算法质量。在整个过程中架构边界清晰，系统松耦合，通过闭环服务化内聚化降低组织间沟通成本。
3.6K31发布于 2019-05-05 - 来自专栏腾讯云存储
直播预告| Lakehouse 湖仓一体化架构论坛
在大模型时代，企业将如何进行湖仓一体化架构选型？下一代Lakehouse架构方向又在哪里？未来面临着怎么样的挑战？ 让我们在6月15日举办的以「大模型时代的 OLAP 技术演进」为主题的第58届DataFunSummit：OLAP 线上峰会中，「Lakehouse 湖仓一体化架构」论坛上看头部企业如何做！ 精彩内容，扫码报名，免费参会 本次Lakehouse湖仓一体化架构论坛的出品人程力老师，腾讯云数据湖存储的负责人，他对数据湖仓存储架构有着深入的理解与丰富的实践经验。 通过构建两级缓存架构与混合部署，让整个基于对象存储架构构建的查询性能与成本达到了较优的水平。 演讲提纲： 1.GooseFS 加速存储的核心架构 2.GooseFS 在腾讯内部实时 OLAP 搜索场景上的应用落地 3.GooseFS 在低延迟查询搜索请求上的架构演进与性能优化 4.总结 听众收益
48910编辑于 2024-06-16 模型设计、数据架构、数据治理一体化大数据平台
本文主要从总体思路、模型设计、数据架构、数据治理四个方面介绍了如何利用大数据平台的特性，构建更贴合大数据应用的数据仓库。 数据集市层是上下三层架构的最上层，通常是由需求场景驱动建设的，并且各集市间垂直构造。在数据集市层，我们可以深度挖掘数据价值。值得注意的是，数据集市层需要能够快速试错。 二、数据架构 数据架构包括数据整合、数据体系、数据服务三部分。其中，数据整合又可以分为结构化、半结构化、非结构化三类。 2.1.2 日志结构化 在传统的架构中，日志的结构化处理是放在数仓体系之外的。 尽管目前数仓架构体系中并不包含非结构化数据特征提取操作，但在未来，这将成为可能。
24810编辑于 2025-12-23（一体化架构有疑问）
是什么让这个简单的架构变得如此特别以至于它被过度炒作？将整个正在运行的应用程序从一体化转移到微服务架构是否值得付出的努力和痛苦？当我们开始在项目中使用微服务时出现了很多类似的问题。 在本博客中，我们将尝试回答这些问题并深入研究微服务架构，并将其与一体化架构进行比较。 什么是微服务？它与一体化有何不同？ [2gvoo5y4nn.jpeg] 微服务是小型自主服务工作的集合。 为什么不采用一体化架构？ [bqdy8z6pg7.png] 有个主要问题是，如果我们有一个功能完整的一体化应用程序正在运行，为什么要转换？为什么要增加开销并付出额外的努力？ 使用一体化架构，我们无法独立扩展每个组件，因此即使大多数组件可能不需要扩展，整个应用程序也需要进行扩展。 可靠性 - 一体化应用的另一个问题是可靠性。 现在我们对一体化和微服务是什么以及他们的优缺点有一个大概的认识。 [k0h9rd7vla.png] 总而言之，一体化架构更适合简单轻量级的应用。
1.6K50发布于 2018-06-25- 来自专栏大数据解决方案
实时离线一体化技术架构(万字，15张图）
： 架构实现 数据实时同步—Confluent Platform架构实现 debezuim：业务库使用的是MySql,如果在即时查询系统中查询到的结果与业务系统查询结果同等，需要实时同步业务数据，并实时提供查询能力 实时离线一体化系统之技术架构 实时离线一体化系统之数据流 实时离线一体化接入 大数据的来源主要分为三个： 第一个来源是内部系统的Mysql数据库(业务分析) 第二个来源是应用App(用户轨迹) 这个问题跟我们的需求演化和公司系统架构有关系，presto从支持标准的sql上看，可以减轻业务侧对现有的功能sql改造，简单来说就是为了兼容现状。 透明的数据分层存储 整个系统架构里，有两个地方可以存储数据，一个是Kudu,另一个是HDFS。而Kudu存储的数据大多是即时查询系统数据和经过业务处理分析后的APP层、DWS层数据。 展望未来 1、基于整合后的架构，未来我们可以提供更多的能力，让更多的存储引擎支持Hive Metastore，使HMS的元数据服务支持丰富化。
2.1K20发布于 2021-10-22 mapvthree Engine 设计分析——二三维一体化的架构设计
mapvthree Engine 作为二三维一体化渲染引擎的核心，其设计理念既不同于传统地图引擎，也不同于纯粹的 3D 渲染引擎。 本文将从架构设计的角度，深入分析 Engine 如何巧妙地融合两种设计范式，创造出独特的二三维一体化架构。 四、二三维一体化的实现机制4.1 坐标系统统一Engine 通过统一的坐标转换接口，实现了地理坐标和 3D 坐标的统一：// 地理坐标 → 3D 坐标（无论使用什么投影）const position = 它既不是简单的地图引擎，也不是纯粹的 3D 渲染引擎，而是将两种设计范式巧妙融合的创新架构。 地理坐标系统和 3D 坐标系统通过统一接口无缝转换模块化设计：功能模块职责清晰，易于扩展和维护这种设计使得 Engine 能够满足从传统地图应用到复杂 3D 场景的各种需求，为开发者提供了一个既强大又灵活的二三维一体化解决方案
18810编辑于 2025-11-24- 来自专栏Apache Doris
Apache Doris AI 能力揭秘（四）：HSAP 一体化混合搜索架构全解
多系统拼接方案的痛点为实现混合搜索的能力，许多系统采用“向量数据库 + 搜索数据库 + OLAP 数据库”组合式架构来支撑类似能力。 而 Apache Doris HSAP 能力的实现并非一蹴而就，整体架构的演进分为三个阶段，如下所示。 为了让搜索能力真正适配 AI Agent 的分析场景，Doris 对倒排索引进行了系统化的架构设计与工程优化。 而 Doris 的向量索引与倒排索引采用一体化架构，用户可以像处理倒排索引一样异步构建向量索引，最大限度降低对写入性能的影响。同时，调整向量索引构建参数时，用户可以轻松进行索引的删除与重建。 其统一的 HSAP 架构从根本上满足了 Agent 对多模态数据分析，应具备全面性、语义的精确性以及流程的可控性的需求。
19810编辑于 2025-12-22 - 来自专栏深度学习与python
迈向Flutter深水区：美团外卖Web-App一体化架构实践
落地进展，近日，我们采访了美团外卖商家终端团队负责人陈航，他透露，美团外卖商家 App 的鸿蒙适配正在推进落地中，不仅如此，最近半年他们也在探索基于 Flutter Web 体系的 Web-App 一体化架构 陈航：我们围绕 Flutter 所做的工作主要可以分成 4 个阶段：美团终端研发生态打通、自建动态化、Web-App 一体化架构、鸿蒙适配。 陈航：主要还是现有工作的延续，大的方向是扩大 Web-App 一体化架构的业务落地场景、完成自有 App 在鸿蒙系统的适配，以及完善对应的工具链、建立新终端的指标基线、性能优化等等。 陈航：刚才有提到，我们外卖商家端的客户端类型比较多，Flutter Web 能够帮助我们把 Android/iOS 的代码复用延升到 Web 体系里，实现 Web-App 一体化架构。 从现有的成果上看是符合预期的：我们目前有两个业务线实现了基于 Flutter Web 的一体化架构，还有一些 App 页面简单改造后就具备了外链 H5 的能力，这些业务的代码在 Web 和 Native
1.7K10发布于 2021-03-30 安全策略一体化落地指南：从定义到执行的闭环架构
核心概念与架构设计原则 3. 整体架构设计方案 4. 策略定义层设计 5. 策略下发与同步机制 6. 策略执行与反馈机制 7. 实施步骤与最佳实践 8. 总结与展望 1. 核心概念与架构设计原则 2.1 核心概念 集中定义与下发架构是指建立一个统一的策略管理中心，负责定义、存储、分发和维护所有安全策略，各业务系统作为策略消费者，定期从中心拉取最新策略并执行。 整体架构设计方案 3.1 总体架构图 3.2 架构特点 分层解耦：采用四层架构，各层职责清晰，降低耦合度 双向通信：不仅支持策略下发，还支持执行状态上报 弹性伸缩：各层都可以根据负载情况进行水平扩展 4 ，实现更精细的安全控制 8.3 结语 安全策略的集中定义与下发架构不是一蹴而就的工程，需要循序渐进地实施。 这个架构只是开始，持续的优化和演进才能让企业在数字化浪潮中行稳致远。 本文旨在为企业安全架构师和IT管理者提供实用的技术方案，如有疑问欢迎交流讨论。
25410编辑于 2025-11-06巧用 TiCDC Syncpoint 构建银行实时交易和准实时计算一体化架构
导读本文阐述了某商业银行如何利用 TiCDC Syncpoint 功能，在 TiDB 平台上构建一个既能处理实时交易又能进行准实时计算的一体化架构，用以优化其零售资格业务系统的实践。 这样的架构设计旨在平衡交易的即时性和数据处理的计算需求，确保实时交易的快速响应，同时为数据分析和处理提供足够的计算资源。 图 1：实时交易和准实时计算一体化架构“TiDB 主集群”为实时集群；“TiDB 备集群 2”是专门为资格落地准备的准实时集群；“TiDB 备集群 1”是容灾集群*众所周知，在业界，几乎所有的变更数据捕获 TiCDC 采用分布式架构设计，也会受到主备之间延迟的影响，不能保证目标端的事务提交顺序和源端的事务提交顺序完全一致，无法动态地获取主备集群的一致性关系。 图 2：TiCDC 分布式同步架构在使用 TiCDC 构建 TiDB 主从集群的过程中，有时需要在不中断数据同步的情况下，进行数据的一致性快照读取或验证。
31610编辑于 2024-05-01聊聊数据库一体化——YashanDB数据库融合架构设计与实践
以下是演讲实录：今天我将围绕“数据库一体化”这个比较热门的话题，结合YashanDB在理论创新、技术架构以及工程实践方面的探索经验，从业务、技术、产品三个角度深入聊聊“数据库一体化”，也欢迎大家交流探讨 分享将从以下几个部分展开：l 从业务的角度分析目前数据库一体化以及技术架构面临的挑战；l 从技术的角度思考如何通过融合架构解决一体化问题；l 从产品的角度给出数据库一体化的解决方案；l 数据库一体化的未来展望 那应该如何应对数据库一体化带来的挑战呢？核心在于优秀的数据库技术架构，基于传统架构的缝缝补补或者采用搭积木的方案无法满足一体化长期发展诉求。 融合内核架构：原生一体化方案的基石融合内核架构是数据库一体化方案的基石，其中最关键的是事务引擎、存储引擎、SQL引擎三个内核组件设计，接下来将从这三方面介绍YashanDB融合内核架构的关键技术。 YashanDB一体化实践：1个数据库解决80%的问题 基于融合内核架构，YashanDB提供不同维度的一体化解决方案，包括一体化产品形态、一体化业务负载、一体化数据模型、一体化运维以及一体化生态兼容，
33310编辑于 2025-01-08- 来自专栏数据猿
从Data+AI到Data×AI：一体化架构引领数据库范式革命
符合技术发展规律：从早期的大型机集中式，到互联网时代的分布式架构，再到AI时代的一体化融合，技术发展呈现出"合久必分，分久必合"的螺旋式上升规律。一体化架构正是这种规律在当前阶段的体现。 一体化架构为AI应用提供了最简化的数据通路，加速了从数据到价值的转化过程。 OceanBase一体化涵盖架构、负载和多云三个维度： 架构一体化：单机与分布式的统一 让用户无需在“性能”与“扩展性”之间做选择题。同一套引擎既能在单机环境下稳定运行，也能在分布式环境中弹性扩展。 多云一体化：一套架构，全球运行 在云原生层面，OceanBase已稳定运行于阿里云、华为云、腾讯云、AWS、Azure等七大主流云平台。 杨冰表示，“以‘一体化’理念推进架构、存储与负载的全面融合，打造面向未来的一体化数据底座；同时加大全球开源投入，加速全球化进程，坚定迈向世界级数据库。”
34610编辑于 2025-11-21 - 来自专栏Apache Doris
湖仓分析｜浙江霖梓基于 Doris + Paimon 打造实时离线一体化湖仓架构
Doris + Paimon 的实时/离线一体化湖仓架构，实现查询提速 30 倍、资源成本节省 67% 等显著成效。 /离线一体化湖仓架构，为反欺诈策略、用户⾏为分析、BI 应用等若干系统提供了高效准确的服务，实现了查询提速 30 倍、资源成本节省 67% 等显著成效。 基于 Apache Doris 的实时/离线一体化湖仓架构经过七个月的设计与实施，最终完成了基于 Apache Doris 离线 / 实时一体化湖仓统一架构。 ，所以在升级成为新架构时，浙江霖梓全面梳理并提炼业务关键指标，并针对 Doris 的各项基础性能进一步优化，有效提高了离线 / 实时一体化数仓的数据处理效率。 #开启⾏存"store_row_column" = "true" 总结与规划截至目前，基于 Doris + Paimon 的实时/离线一体化湖仓架构已为反欺诈策略、用户⾏为分析、业务监控、 BI 应用等若干系统提供了服务
99420编辑于 2025-02-13 运维管理一体化：构建多维一体化的运维体系
运维一体化的概念被泛化 运维一体化是近几年被广泛提起的概念，有各种解读和实践形态，在到具体的技术架构和管理实践前，我们还是要对一体化有几个基本定义，这样才能更为严肃地探讨运维一体化的本质。 所以从工具一体化视角来看，要定义核心所属业务域，以及外部调用与被调用的关系设计，以发布投产一体化工具为例，应用架构如下，除核心业务活动过程与功能外，外部与DevOps，以及与ITOM、ITSM的关联设计都需要考虑 （下一期将对平台化进行详细介绍，敬请期待~） 图12：平台化技术架构示例 一体化运维在投产发布下的设计示例 最后更具象化一点设计一体化运维在具体业务域的设计示例： 设定情景 业务系统100+，主机节点5W 资源管理这几个维度根据紧迫程度着手； 3、一体化的推进要从业务、应用、数据、技术这几个维度的视角来做规划和设计，其中最为关键的是业务场景的一体化，如何把运行、管理、处置联动起来；应用架构的一体化，如何基于统一对象模型构建 ；数据管理的一体化，核心是专业分散，消费驱动的模式管理，切忌做成数据开发的模式；技术架构的一体化，核心是抓准统一管控和平台架构这两个关键点。
3.5K30编辑于 2024-07-03- 来自专栏运维之路
运维平台一体化
-《架构即未来》这本书里提到的组织、流程、架构的三位一体和我们运维一体化很吻合； -腾讯蓝鲸、云霁科技在运维自动化方面的整体解决方案引导着我制定平台一体化的方案； -googlesre 自主化包括开发能力自主化与架构自主化。 -运维一体化下的开发能力： 标准化脚本的服务化能力； 服务化脚本的接口注册； 2）架构自主化，我们在平台建设过程中引入了互联网分布式的架构，开源的技术架构能让我们对技术架构更有可控性 整体的架构参见PPT这张图。 ? 我们的平台一体化对于工具及技术主要以开源、国产为主，以下这张PPT是截止目前我们平台的主要技术栈。 2、原则2：工具化 ? 首先是重量型工具，以集中监控为例，监控架构见这张PPT。 ?
5.9K20发布于 2020-03-06 - 来自专栏minlearnprogramming
engitor:基于jupyter,一个一体化的语言,IDE及通用分布式架构环境
关键字:工具层devops 很难为jupyter这样的一个东西定性，它最初只是一个增强的python repl环境，后来变成了CS架构并支持了多语言，S为语言kernel，C为notebook,console 再来说点深刻一点的： jupyter可能是一个自带开发发布的分布式devops计算环境 ----- 它增强了语言IDE，它是分布式交互开发环境（做成了CS和WEB嘛，大凡与WEB沾边的，应用架构上已属分布式 综合起来，它只是将IDE发展分布式，且其架构和产品定位上也可以作成“动态github”之类的东西而已，能理解到这层已经很不错了。
66050发布于 2020-09-27 数据库和数据存储架构思考-对TPAP一体化的可行性分析
Hello大家好，我是人月聊IT，今天准备简单跟大家聊一下数据存储架构里面的TP/AP一体化问题。 在聊这个之前，我们首先还是要谈一下OLTP和OLAP。 现在回到TP/AP一体化是否可行的问题。 我们来看阿里近几年强调的OceanBase数据库，它强调基于HTAP（混合事务分析处理存储架构）实现了TP/AP一体化。 面对大数据分析时，仍然采用分布式存储列式存储架构模式。 所以，不要简单理解TPAP一体化只有一种存储架构，它底层是混合存储，对用户透明。这是我们讲的一体化存储架构。 这种情况下，如何做TPAP一体化也是一直困扰我的问题。 最近一两个月在微信群交流时，总有人提到有产品成功实践案例解决了这个问题。我其实很系统大家能够分享企业整体应用和数据架构级的一体化解决方案。 好了，今天关于数据存储架构里TPAP一体化的思考就到这里。
34710编辑于 2025-06-24一体化电流变送器
在这样的背景下，一体化电流变送器作为一种关键的测量元件，逐渐成为了工业控制系统中的“幕后英雄”。本文将深入探讨一体化电流变送器的原理、应用以及其在工业自动化中的重要地位。 一、一体化电流变送器的原理一体化电流变送器是一种将电流信号转换为标准电压信号的传感器。它主要由变送器本体、转换电路和输出电路组成。 二、一体化电流变送器的应用一体化电流变送器在工业自动化领域具有广泛的应用，以下列举几个典型应用场景：电力系统：一体化电流变送器可应用于电力系统中，对电流、电压等参数进行实时监测和调节。 三、一体化电流变送器在工业自动化中的重要性提高测量精度：一体化电流变送器具有较高的测量精度，有利于提高工业自动化系统的控制精度。 促进节能减排：一体化电流变送器在电力系统中的应用，有助于实现节能减排。四、一体化电流变送器的发展趋势智能化：物联网技术的发展，一体化电流变送器将具备智能化功能，实现远程监测、诊断和维护。
16410编辑于 2025-11-19- 来自专栏万少的技术分享
HarmonyOSNext 端云一体化（6）
HarmonyOSNext 端云一体化（6） 之前的文章中把云数据库、云存储都讲过了，这一章节要讲解的是云函数。 云函数介绍 云函数其实就是 serverless 技术。 对于段云一体化开发的应用来说，可以根据这样的场景来使用云函数。 简单的数据库查询、云端文件的管理可以直接使用客户端操作的方式。
37521编辑于 2025-02-10 - 来自专栏边缘计算
通信感知一体化技术思考
蜂窝物联网、雷达互联网[1]、无线传感网等技术与产业的发展，都延续了这种架构。这些网络不具备面向目标的感知功能，感知功能由终端负责。 2.2 通感一体化思路 本节重点从无线信号格式角度讨论一体化设计。通感一 体化信号包括无线通信信号、无线感知信号、通感一体化信号3种。 但一体化信号目前还存在两大理论挑战：一是统一的一体化性能指标，二是一体化性能指标下的性能边界。研究一体化性能边界问题的一个目的是分析通信与感知性能之间的折中关系。 因此，一体化设备面临着空间自由度的两难问题。 3.2 技术挑战 （1） 一体化波形设计。 通过建立误差分析模型，我们一方面开展给定通用通信设备架构下的感知精度边界评估，确定方案适用场景；另一方面开展给定感知精度指标下的设备器件参数与性能指标评估，做好器件选型。
2K10编辑于 2023-02-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号