首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • TBDS-DA数智平台:DA一体化架构驱动数据工程与数据科学融合

    构建DA一体化平台整合开发治理运维 腾讯云推出TBDS-DA数智平台,以“DA一体化架构为核心,提供四层解决方案: 一站式开发治理平台WeData:融合DataOps+MLOps+一体化CI/CD 量化验证一体化架构的应用价值 平台应用效果通过关键指标体现: 提数响应效率:智能问数功能将运营提数响应时间从3.5天(半周)缩短至0.5天(半天)(数据来源:原文“智能问数”部分“从半周等待到半天” 腾讯技术架构支撑DA智能升级 TBDS-DA数智平台的技术领先性体现在: 双架构设计:经典湖仓一体(批处理/流计算/交互式分析)与Data+AI一体架构(批处理|流计算|交互式|数据科学|LLM多负载 (数据来源:腾讯全球数字生态大会TBDS-DA数智平台发布材料)

    11610编辑于 2026-04-21
  • 跨越数据与AI孤岛:TBDS-DA一体化架构破局大模型时代的数据开发与运维困境

    构筑“Data+AI”一体化架构:以底层融合驱动多类型工作负载 为解决上述痛点,腾讯云正式发布 TBDS-DA数智平台。 该平台立足“融合创新”,将经典大数据平台(Hadoop生态)与大模型生态(集成DeepSeek、Llama、Qwen、Mistral等)进行深度整合,提供面向数据工程与数据科学的一体化解决方案。 量化研发与运营ROI:从底层架构到前端调用的全链路提效 基于TBDS-DA平台的部署,企业能够在系统稳定性、开发效率及运维成本优化上获得确定的量化业务指标收益(数据来源:腾讯全球数字生态大会 TBDS-DA 存储与计算架构降本: 平台依托智能多模湖仓双架构,实现 One Copy 支持 Data+AI 多类型工作负载。 平台打破了传统数据治理工具的边界,构建了以 DataAgent 为核心的引擎架构。通过提供统一数据语义层(知识图谱、多模态统一语义),TBDS-DA支持企业利用私域数据快速开发GenAI数据应用。

    11310编辑于 2026-04-21
  • 来自专栏京东技术

    工程算法一体化平台架构实践

    整个架构采用了一体化架构,所谓一体化是指整个算法、工程涉及的包括数据、系统等全链路打通,实现数据流的系统化流动,这种方式的好处是形成了业务闭环,在需求、开发、测试和验证整个过程都是透明化,从而减少沟通误差 工程&算法一体化平台 整个工程&算法一体化平台架构如图1所示,包括数据集&标注平台、算法模型训练&部署平台、模型测试&质量评估平台、算法服务网关、服装搭配平台,通过将这些平台全链路打通,形成一体化架构, 打标平台架构上一定要灵活,设计如图2所示,架构上一定要灵活,因为不同的场景其标注需求是不一样的,比如数据存储方面可以考虑像mongodb数据库,是模式自由的,数据存储结构非常灵活;在打标界面方面可以通过插件化模式进行设计 京东内部有一套自己的机器学习平台,该平台目前打通了京东的J-ONE(编译、上线发布、部署一体化的工具平台),可以通过J-ONE部署CPU或GPU应用,从而简化整个部署过程。 一体化平台架构的目的是形成业务闭环,统一数据语言,数据资产沉淀,数据全链路透明流通,数据抽样实时质量评估,提升算法质量。在整个过程中架构边界清晰,系统松耦合,通过闭环服务化内聚化降低组织间沟通成本。

    3.6K31发布于 2019-05-05
  • 来自专栏腾讯云存储

    直播预告| Lakehouse 湖仓一体化架构论坛

    在大模型时代,企业将如何进行湖仓一体化架构选型?下一代Lakehouse架构方向又在哪里?未来面临着怎么样的挑战? 让我们在6月15日举办的以「大模型时代的 OLAP 技术演进」为主题的第58届DataFunSummit:OLAP 线上峰会中,「Lakehouse 湖仓一体化架构」论坛上看头部企业如何做! 精彩内容,扫码报名,免费参会 本次Lakehouse湖仓一体化架构论坛的出品人程力老师,腾讯云数据湖存储的负责人,他对数据湖仓存储架构有着深入的理解与丰富的实践经验。 通过构建两级缓存架构与混合部署,让整个基于对象存储架构构建的查询性能与成本达到了较优的水平。 演讲提纲: 1.GooseFS 加速存储的核心架构 2.GooseFS 在腾讯内部实时 OLAP 搜索场景上的应用落地 3.GooseFS 在低延迟查询搜索请求上的架构演进与性能优化 4.总结 听众收益

    54510编辑于 2024-06-16
  • 模型设计、数据架构、数据治理一体化大数据平台

    本文主要从总体思路、模型设计、数据架构、数据治理四个方面介绍了如何利用大数据平台的特性,构建更贴合大数据应用的数据仓库。          数据集市层是上下三层架构的最上层,通常是由需求场景驱动建设的,并且各集市间垂直构造。在数据集市层,我们可以深度挖掘数据价值。值得注意的是,数据集市层需要能够快速试错。 二、数据架构         数据架构包括数据整合、数据体系、数据服务三部分。其中,数据整合又可以分为结构化、半结构化、非结构化三类。 2.1.2 日志结构化         在传统的架构中,日志的结构化处理是放在数仓体系之外的。 尽管目前数仓架构体系中并不包含非结构化数据特征提取操作,但在未来,这将成为可能。

    30810编辑于 2025-12-23
  • 一体化架构有疑问)

    是什么让这个简单的架构变得如此特别以至于它被过度炒作?将整个正在运行的应用程序从一体化转移到微服务架构是否值得付出的努力和痛苦?当我们开始在项目中使用微服务时出现了很多类似的问题。 在本博客中,我们将尝试回答这些问题并深入研究微服务架构,并将其与一体化架构进行比较。 什么是微服务?它与一体化有何不同? [2gvoo5y4nn.jpeg] 微服务是小型自主服务工作的集合。 为什么不采用一体化架构? [bqdy8z6pg7.png] 有个主要问题是,如果我们有一个功能完整的一体化应用程序正在运行,为什么要转换?为什么要增加开销并付出额外的努力? 使用一体化架构,我们无法独立扩展每个组件,因此即使大多数组件可能不需要扩展,整个应用程序也需要进行扩展。 可靠性 - 一体化应用的另一个问题是可靠性。 现在我们对一体化和微服务是什么以及他们的优缺点有一个大概的认识。 [k0h9rd7vla.png] 总而言之,一体化架构更适合简单轻量级的应用。

    1.7K50发布于 2018-06-25
  • 来自专栏大数据解决方案

    实时离线一体化技术架构(万字,15张图)

    架构实现 数据实时同步—Confluent Platform架构实现 debezuim:业务库使用的是MySql,如果在即时查询系统中查询到的结果与业务系统查询结果同等,需要实时同步业务数据,并实时提供查询能力 实时离线一体化系统之技术架构 实时离线一体化系统之数据流 实时离线一体化接入 大数据的来源主要分为三个: 第一个来源是内部系统的Mysql数据库(业务分析) 第二个来源是应用App(用户轨迹) 这个问题跟我们的需求演化和公司系统架构有关系,presto从支持标准的sql上看,可以减轻业务侧对现有的功能sql改造,简单来说就是为了兼容现状。 透明的数据分层存储 整个系统架构里,有两个地方可以存储数据,一个是Kudu,另一个是HDFS。而Kudu存储的数据大多是即时查询系统数据和经过业务处理分析后的APP层、DWS层数据。 展望未来 1、基于整合后的架构,未来我们可以提供更多的能力,让更多的存储引擎支持Hive Metastore,使HMS的元数据服务支持丰富化。

    2.2K20发布于 2021-10-22
  • mapvthree Engine 设计分析——二三维一体化架构设计

    mapvthree Engine 作为二三维一体化渲染引擎的核心,其设计理念既不同于传统地图引擎,也不同于纯粹的 3D 渲染引擎。 本文将从架构设计的角度,深入分析 Engine 如何巧妙地融合两种设计范式,创造出独特的二三维一体化架构。 四、二三维一体化的实现机制4.1 坐标系统统一Engine 通过统一的坐标转换接口,实现了地理坐标和 3D 坐标的统一:// 地理坐标 → 3D 坐标(无论使用什么投影)const position = 它既不是简单的地图引擎,也不是纯粹的 3D 渲染引擎,而是将两种设计范式巧妙融合的创新架构。 地理坐标系统和 3D 坐标系统通过统一接口无缝转换模块化设计:功能模块职责清晰,易于扩展和维护这种设计使得 Engine 能够满足从传统地图应用到复杂 3D 场景的各种需求,为开发者提供了一个既强大又灵活的二三维一体化解决方案

    22810编辑于 2025-11-24
  • 来自专栏AIGC-AI飞行家

    AI绘画StableDiffusion美女实操教程:斗破苍穹-小医仙

    0630a7af8244大模型选择:建议使用:DangerAngelSavour11存放位置:novelai-webui-aki-v3(软件安装目录)\models\Stable-diffusionLora选择:DA 1.3),(,1girl, pov,best quality, ) , (solo, large breasts, looking at viewer, cherry blossoms, )<lora:DA_XiaoYiXian hair ornament, necklace, earrings, bracelet, armlet,halo,autumn,(white fishnet thighhighs:1.25),<lora:DA username,参数设置:Steps: 22, //建议20-30之间选择测试Sampler: Euler a, //建议下面红框内的采样方法,出来的效果相对比较好CFG scale: 7, //7-

    4K20编辑于 2023-08-26
  • TBDS-DA数智平台:统一数据与AI工作负载,将数据提数效率提升75%

    二、腾讯云推出TBDS-DA一体化数智平台,整合数据工程与AI应用 平台基于 “DA一体化架构,提供统一数据底座与智能引擎,支持多模态数据统一存储、计算与治理。 五、腾讯云技术架构支撑多模态数据与AI负载统一调度 腾讯云TBDS-DA平台采用 “虚拟计算层+统一存储层”架构,支持批处理、流计算、交互式分析与AI训练统一调度: 计算引擎兼容Spark、Flink 数据来源:腾讯全球数字生态大会2023发布内容、TBDS-DA平台技术架构文档。

    15010编辑于 2026-04-21
  • 腾讯与销售易智能一体化CRM联合架构与业务影响解析

    行业正亟需从被动的“大型结构化数据记录系统”向以智能驱动、自然语言交互为核心的“交付行动和结果的智能体生态(AI CRM)”演进,以实现多区域、多语言、多币种的全球化业务一体化管控,并在GDPR等严格合规框架下全面守护从 构建基于国产大模型与协同生态的智能体业务矩阵 为解决AI落地的“最后一公里”难题,腾讯联合销售易(北京仁科互动网络技术有限公司)推出了一体化智能CRM解决方案。 该方案以Data Cloud(AI数据基座)为核心,结合MCP广场(激活生态共创能力),构建了一系列企业级AI Agents(NeoAgent),全面重塑产品架构与开发平台。 1.

    27720编辑于 2026-04-08
  • 来自专栏Apache Doris

    Apache Doris AI 能力揭秘(四):HSAP 一体化混合搜索架构全解

    多系统拼接方案的痛点为实现混合搜索的能力,许多系统采用“向量数据库 + 搜索数据库 + OLAP 数据库”组合式架构来支撑类似能力。 而 Apache Doris HSAP 能力的实现并非一蹴而就,整体架构的演进分为三个阶段,如下所示。 为了让搜索能力真正适配 AI Agent 的分析场景,Doris 对倒排索引进行了系统化的架构设计与工程优化。  而 Doris 的向量索引与倒排索引采用一体化架构,用户可以像处理倒排索引一样异步构建向量索引,最大限度降低对写入性能的影响。同时,调整向量索引构建参数时,用户可以轻松进行索引的删除与重建。 其统一的 HSAP 架构从根本上满足了 Agent 对多模态数据分析,应具备全面性、语义的精确性以及流程的可控性的需求。

    28210编辑于 2025-12-22
  • 来自专栏深度学习与python

    迈向Flutter深水区:美团外卖Web-App一体化架构实践

    落地进展,近日,我们采访了美团外卖商家终端团队负责人陈航,他透露,美团外卖商家 App 的鸿蒙适配正在推进落地中,不仅如此,最近半年他们也在探索基于 Flutter Web 体系的 Web-App 一体化架构 陈航:我们围绕 Flutter 所做的工作主要可以分成 4 个阶段:美团终端研发生态打通、自建动态化、Web-App 一体化架构、鸿蒙适配。 陈航:主要还是现有工作的延续,大的方向是扩大 Web-App 一体化架构的业务落地场景、完成自有 App 在鸿蒙系统的适配,以及完善对应的工具链、建立新终端的指标基线、性能优化等等。 陈航:刚才有提到,我们外卖商家端的客户端类型比较多,Flutter Web 能够帮助我们把 Android/iOS 的代码复用延升到 Web 体系里,实现 Web-App 一体化架构。 从现有的成果上看是符合预期的:我们目前有两个业务线实现了基于 Flutter Web 的一体化架构,还有一些 App 页面简单改造后就具备了外链 H5 的能力,这些业务的代码在 Web 和 Native

    1.7K10发布于 2021-03-30
  • 来自专栏庄帅

    全球最大便利店将裁员4000人、关店1000家,这两个是致命原因

    ,“7-11”也成为便利店商店的国际共通语言。 到2000年,7-11发现很多写字楼有外卖需求,于是在日本开始支持送外卖。 细心周到的服务、细节更贴心 在商品的陈列上,7-11有严格的要求。 图:7-11日本历年店数和销售额 数据驱动运营、决策更合理 高层领导对数据的重视和敏感,引导7-11形成了数据驱动的单品管理模式,也是门店乃至整个集团维持高效运转、保持高利润的关键。 7-11的组织架构和运营模式 分析数字变化仅仅是前提,单品管理最重要的精髓,在于快速执行,快速验证,根据验证结果再推算,不断重复。 数据相对滞后、成本持续走高 虽然7-11有数据支持决策的“法宝”,但随着互联网的发展,信息逐步多元化,在大数据、人工智能以及数据整合层面,7-11未完全赶上当前的节奏。

    71200发布于 2019-10-31
  • 安全策略一体化落地指南:从定义到执行的闭环架构

    核心概念与架构设计原则 3. 整体架构设计方案 4. 策略定义层设计 5. 策略下发与同步机制 6. 策略执行与反馈机制 7. 实施步骤与最佳实践 8. 总结与展望 1. 核心概念与架构设计原则 2.1 核心概念 集中定义与下发架构是指建立一个统一的策略管理中心,负责定义、存储、分发和维护所有安全策略,各业务系统作为策略消费者,定期从中心拉取最新策略并执行。 整体架构设计方案 3.1 总体架构图 3.2 架构特点 分层解耦:采用四层架构,各层职责清晰,降低耦合度 双向通信:不仅支持策略下发,还支持执行状态上报 弹性伸缩:各层都可以根据负载情况进行水平扩展 4 ,实现更精细的安全控制 8.3 结语 安全策略的集中定义与下发架构不是一蹴而就的工程,需要循序渐进地实施。 这个架构只是开始,持续的优化和演进才能让企业在数字化浪潮中行稳致远。 本文旨在为企业安全架构师和IT管理者提供实用的技术方案,如有疑问欢迎交流讨论。

    27910编辑于 2025-11-06
  • 来自专栏QQ大数据团队的专栏

    腾讯云大数据TBDS重磅升级,助力金融行业构建Data+AI一体化数智新范式

    此次升级聚焦“数据与AI(DA一体化”,旨在为金融机构提供兼具数据工程与数据科学能力的综合平台,让一份数据既能支撑分析,也能直接服务AI应用,有效打破传统数据处理与智能应用之间的壁垒。 据腾讯云大数据平台产品总经理徐晓敏介绍,新TBDS多模湖仓平台+WeData数智开发治理平台、以及DataAgent数据智能即服务共同构成核心架构,其中WeData全面融合DataOps与MLOps,提供一体化 新TBDS在设计上聚焦“DA一体化”,提供五大核心特性,推动数据存储、管理、开发、治理与运维全面智能化。 例如:在运营提数场景,原本需要半周才能完成数据响应,新架构下可缩短至半天。 在实际应用中,新TBDS在金融场景展现出显著价值。

    61710编辑于 2025-09-29
  • 巧用 TiCDC Syncpoint 构建银行实时交易和准实时计算一体化架构

    导读本文阐述了某商业银行如何利用 TiCDC Syncpoint 功能,在 TiDB 平台上构建一个既能处理实时交易又能进行准实时计算的一体化架构,用以优化其零售资格业务系统的实践。 这样的架构设计旨在平衡交易的即时性和数据处理的计算需求,确保实时交易的快速响应,同时为数据分析和处理提供足够的计算资源。 图 1:实时交易和准实时计算一体化架构“TiDB 主集群”为实时集群;“TiDB 备集群 2”是专门为资格落地准备的准实时集群;“TiDB 备集群 1”是容灾集群*众所周知,在业界,几乎所有的变更数据捕获 TiCDC 采用分布式架构设计,也会受到主备之间延迟的影响,不能保证目标端的事务提交顺序和源端的事务提交顺序完全一致,无法动态地获取主备集群的一致性关系。 图 2:TiCDC 分布式同步架构在使用 TiCDC 构建 TiDB 主从集群的过程中,有时需要在不中断数据同步的情况下,进行数据的一致性快照读取或验证。

    33610编辑于 2024-05-01
  • 来自专栏喔家ArchiSelf

    架构三问【1】:业务架构 将引我们走向何方

    数据架构。Data Architecture,DA。 应用架构。Applications Architecture,AA。 技术架构。Technology Architecture,TA。 目前,TOGAF 9.2 是企业架构实际上的标准,在全球有着广泛的实践。TOGAF 9.2 中的BA/DA/AA/TA 内容模型,如下图所示: ? 战略是公司高层的设计,却是业务架构师的需求。业务架构师的工作是“战略进,业务架构出”,业务架构是BA 架构师的设计,却是DA/AA/TA 架构师的需求,环环相扣,上层驱动下层,下层支撑上层。 运维侧,全球业界已普遍接受和频繁实施DevOps改革,打造开发-测试-部署-运维一体化的实践体系。 规划侧,以TOGAF等EA框架的全球流行、业务架构师岗位的日益普及、BizDevOps体系的提出等为标志,正经历着一场战略规划-IT规划-架构设计一体化(Integration)的大变革。 ?

    96250发布于 2021-04-02
  • 聊聊数据库一体化——YashanDB数据库融合架构设计与实践

    以下是演讲实录:今天我将围绕“数据库一体化”这个比较热门的话题,结合YashanDB在理论创新、技术架构以及工程实践方面的探索经验,从业务、技术、产品三个角度深入聊聊“数据库一体化”,也欢迎大家交流探讨 分享将从以下几个部分展开:l 从业务的角度分析目前数据库一体化以及技术架构面临的挑战;l 从技术的角度思考如何通过融合架构解决一体化问题;l 从产品的角度给出数据库一体化的解决方案;l 数据库一体化的未来展望 那应该如何应对数据库一体化带来的挑战呢?核心在于优秀的数据库技术架构,基于传统架构的缝缝补补或者采用搭积木的方案无法满足一体化长期发展诉求。 融合内核架构:原生一体化方案的基石融合内核架构是数据库一体化方案的基石,其中最关键的是事务引擎、存储引擎、SQL引擎三个内核组件设计,接下来将从这三方面介绍YashanDB融合内核架构的关键技术。 YashanDB一体化实践:1个数据库解决80%的问题 基于融合内核架构,YashanDB提供不同维度的一体化解决方案,包括一体化产品形态、一体化业务负载、一体化数据模型、一体化运维以及一体化生态兼容,

    35910编辑于 2025-01-08
  • 来自专栏数据猿

    从Data+AI到Data×AI:一体化架构引领数据库范式革命

    符合技术发展规律:从早期的大型机集中式,到互联网时代的分布式架构,再到AI时代的一体化融合,技术发展呈现出"合久必分,分久必合"的螺旋式上升规律。一体化架构正是这种规律在当前阶段的体现。 一体化架构为AI应用提供了最简化的数据通路,加速了从数据到价值的转化过程。 OceanBase一体化涵盖架构、负载和多云三个维度: 架构一体化:单机与分布式的统一 让用户无需在“性能”与“扩展性”之间做选择题。同一套引擎既能在单机环境下稳定运行,也能在分布式环境中弹性扩展。 多云一体化:一套架构,全球运行 在云原生层面,OceanBase已稳定运行于阿里云、华为云、腾讯云、AWS、Azure等七大主流云平台。 杨冰表示,“以‘一体化’理念推进架构、存储与负载的全面融合,打造面向未来的一体化数据底座;同时加大全球开源投入,加速全球化进程,坚定迈向世界级数据库。”

    43210编辑于 2025-11-21
领券