首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 数据治理平台有哪些:2025 年数据治理平台深度解析

    2. AI 成为核心生产力:传统依赖人工的数据清洗、标准制定等环节,正被 AI 大模型重构 —— 通过自然语言交互生成治理规则、智能识别数据质量问题、自动生成合规报告,使治理效率提升 3-5 倍。 以某国有大型银行为例,普元为其构建的 “数据治理平台” 不仅实现了全信创环境部署,还通过实时数据脱敏技术,在保障客户信息安全的同时,支持业务人员正常查询数据,兼顾合规与业务效率。2. 2. ,了解项目周期、实际效果、运维情况;• POC 测试:选取企业的真实数据场景(如 “清洗 100 万条客户数据并生成质量报告”),让候选厂商进行 1-2 周的 POC 测试,对比各平台的处理效率、易用性 技术迭代:厂商是否有明确的技术 roadmap(如未来 2-3 年是否支持量子加密、多模态大模型深度集成),避免平台因技术落后被淘汰。

    1.1K00编辑于 2025-08-27
  • 主流数据治理平台的有哪些,数据治理平台的核心优点​

    主流数据治理平台介绍​1. 普元数据治理平台​作为 AI 驱动的数据资产治理领域领导者,普元数据治理平台依托公司二十余年在企业应用集成与数据整合领域的积累,以 “AI + 平台” 战略构建核心竞争力。 该平台深度融合智能集成、智能低代码与智能数据资产治理能力,打造 “连接 — 深度集成 — 治理” 的阶梯式基础架构,有效避免架构混乱与数据孤岛问题。​2. 数据治理平台常见 FAQ​1. 企业应如何选择适合自身的 data 治理平台?​ 2. 数据治理平台与数据集成工具的核心区别是什么?​ ,涉及多系统对接与规则重建,一般需要 1-2 年才能形成完整的数据资产体系与价值输出,但期间可通过阶段性验收(如核心系统数据打通、敏感数据识别落地)看到阶段性成果。​

    37710编辑于 2025-10-17
  • 来自专栏木东居士的专栏

    数据治理平台工具前世今生

    信息标准化管理平台功能架构 4)第四代数据治理工具-数据治理时代(展望期,2018年-至今) 近年来,随着大数据平台和工业互联网兴起,数据治理平台主要采用数据中台技术和微服务架构初步替代传统架构、面向大数据架构下 数据治理平台技术架构 实现数据打通,业务融合协同,共享、共用的中台工具开发数据治理产品。 五数据治理管理工具与数据中心及信息系统关系 1)更丰富数据治理平台是企业数据规划、数据标准落地的载体,实现数据治理统一标准、统一规则的支撑 2)数据治理平台包含数据门户地图、主数据管理、数据指标、元数据管理 、数据模型、数据交换与服务、数据资产管理、数据开发、数据质量管理、数据安全等工具,提供规范统一的数据治理和服务的平台 3)数据治理平台是实现数据从产生到应用,分层协同、全面治理的核心 ? 数据治理平台与目标系统及数据资源中心的关系 数据治理平台是信息化架构中是基础性平台,为数据汇聚平台和数据存储平台提供基础层面数据标准化保障,进而为数据分析应用平台提供服务。

    5.4K78发布于 2019-09-29
  • 来自专栏实时流式计算

    DataHub——实时数据治理平台

    DataHub 首先,阿里云也有一款名为DataHub的产品,是一个流式处理平台,本文所述DataHub与其无关。 数据治理是大佬们最近谈的一个火热的话题。 数据治理要解决数据质量,数据管理,数据资产,数据安全等等。而数据治理的关键就在于元数据管理,我们要知道数据的来龙去脉,才能对数据进行全方位的管理,监控,洞察。 综上,datahub是目前我们实时数据治理的最佳选择,只是目前datahub的资料还较少,未来我们将持续关注与更新datahub的更多资讯。 DataHub诞生 Github https://github.com/linkedin/datahub License Apache-2.0 支持数据源 LDAP, Hive, Kafka, MySQL, DB2, 前端提供三种交互类型:(1)搜索,(2)浏览和(3)查看/编辑元数据。

    8.1K20发布于 2020-05-18
  • 来自专栏大数据学习与分享

    数据治理平台功能架构规划

    狭义上讲,数据治理是指对数据质量的管理、专注在数据本身。 、技术和管理活动都属于数据治理范畴。 数据治理的目标是提高数据的质量(准确性和完整性),保证数据的安全性(保密性、完整性及可用性),实现数据资源在各组织机构部门的共享;推进信息资源的整合、对接和共享,从而提升企业信息化水平,充分发挥信息化作用 随着大数据平台和工业互联网兴起,数据治理平台主要采用数据中台技术和微服务架构初步替代传统架构、面向大数据架构下,为数据资源中心与外部数据系统提供数据服务。 下面概述了数据治理平台发展背景和平台架构需求分析,重点对数据治理平台功能架构的各个模块进行详细介绍,供企业规划建设数据治理平台时参考和借鉴。

    2.9K30编辑于 2022-05-19
  • 来自专栏京东技术

    分拣平台API安全治理实战

    Tech 导读 本文主要基于京东物流的分拣业务平台在生产环境遇到的一些安全类问题,进行定位并采取合适的解决方案进行安全治理,引出对行业内不同业务领域、不同类型系统的安全治理方案的探究,最后笔者也基于自己在金融领域的经验进行了关于 API网关治理方案的分享。 支付开放平台目前主流的两种签名算法: 开放平台签名算法名称 标准签名算法名称 备注 RSA2 sha256WithRSA 先使用sha256做摘要,再使用RSA对摘要做非对称加密(强烈推荐使用),强制要求 05 自身实践经历 5.1 背景介绍 笔者之前一直在金融支付相关业务领域从事研发工作,参与过2c的钱包app应用、2b的资金下发saas系统以及资金下发开放平台等相关系统的API设计与研发工作 5.5 小结 API网关不仅仅是针对安全方面的解决方案,更多的是对API治理的一种综合解决方案,集安全性、隔离性、可扩展性等多方面的综合考量,是一种企业级API治理的通用解决方案。

    77820编辑于 2022-08-29
  • 主数据治理平台培训规程

    本文主要对公司MDM主数据管理平台进行产品培训说明,为后续项目、内部员工主数据产品培训提供培训规程,使主数据平台产品培训规范化、流程化,本文档同时也要按照产品的迭代升级而不断更新。 1.2涉及方案 主数据管理平台可以和数通畅联另一款产品企业服务总线组成基础数据治理解决方案,解决各个系统之间的数据分散、重复,未完全形成业务闭环,数据孤立不能互通,数据统计不一致,企业主数据(组织、人员 2培训说明 本章主要对培训的主要目的进行详细说明,并描述了具体的培训场景,包括数据全生命周期管理(数据录入、变更、归档、版本管理、导出、下发)。  2.1培训目的 主数据管理平台主要培训目的如下: 1.了解主数据管理平台以及基础数据治理方案; 2.了解主数据管理平台的全生命周期的管理过程; 3.了解主数据管理平台的四种功能模型(简单列表、主从管理、 树形表格、树形管理),并进行模型创建,包括分类数据建模; 4.了解主数据管理平台编码规则、校验规则的设置以及定义; 5.了解主数据管理平台的巡检以及数据的清洗; 6.了解主数据管理平台预制的openApi

    27210编辑于 2025-06-11
  • 来自专栏java架构计划训练营

    SpringCloud Feign服务治理(2)

    2、在调用方和被调用方服务启动类入口添加注解,并配置扫描路径 @EnableDiscoveryClient //让注册中心能够发现这个服务 @EnableFeignClients(basePackages

    22810编辑于 2022-06-14
  • 来自专栏物流IT圈

    大数据平台下的数据治理

    数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程。 相比传统数仓时代,进入Hadoop集群的数据更加的多样、更加的复杂、量更足,这个数仓时代都没有处理好的事情,如何能够在大数据时代处理好,这是所有大数据应用者最最期盼的改变,也是大数据平台建设者最有挑战的难题 :数据治理难的不是技术,而是流程,是协同,是管理。 同时,数据治理将帮助组织更好的遵从内外部有关数据使用和管理的监管法规,如SOX法案,Basel II协议等。良好的数据治理必将为信息化时代的企业带来不可替代的竞争优势。 物流IT圈 泛物流行业IT知识分享传播、从业人士互帮互助,覆盖快递快运/互联网物流平台/城配/即时配送/3PL/仓配/货代/冷链/物流软件公司/物流装备/物流自动化设备/物流机器人等细分行业。

    2.3K20发布于 2019-10-09
  • 来自专栏云云众生s

    平台工程真的只是API治理吗?

    平台工程或 API 治理,叫什么重要吗?绘制并标准化您的 API,以便在内部轻松访问和重复使用。 通过平台或内部开发人员门户进行 API 治理可以实现服务和 API 的可重用性,而不是让团队从头开始构建所有内容。 平台工程的一个关键支柱是制定黄金路径,Boyd 称之为“商定的架构”。 Boyd 提供了另一个平台最爱,团队拓扑,这是一种工程管理系统,可以帮助组织团队围绕一种新的共享 API 治理方式。 科技行业的大部分正在缓慢地转向一个平台团队,该团队为团队拓扑称为流对齐团队提供集中服务。它不对这些团队强制执行 API 治理,而是平台即产品思维促使这些流对齐团队采用黄金路径,因为这更容易。 但是,正如他所说,巨大的 API 格局正在不断扩展——特别是如果你遵循Boyd 的 API 治理平台工程重叠。迄今为止,它已收录了 2,159 个 API 工具。

    32610编辑于 2024-04-17
  • 来自专栏大数据杂货铺

    DataHub元数据治理平台架构

    1.DataHub架构概述 DataHub 是第三代元数据平台,支持为现代数据堆栈构建的数据发现、协作、治理和端到端可观察性。 1.1.2.基于流的实时元数据平台 DataHub 的元数据基础设施是面向流的,允许元数据的更改在几秒钟内在平台内进行通信和反映。 2.DataHub组件概述 DataHub 平台由下图所示的组件组成。 2.1.元数据存储 元数据存储负责存储构成元数据图的实体和方面。 最值得注意的是,该 API 由用户界面(如下所述)使用,以实现搜索和发现、治理、可观察性等。

    3.3K10编辑于 2024-01-31
  • 来自专栏开发经验

    Spring Cloud Alibaba:Nacos服务治理平台

    使用Nacos进行服务注册与发现 服务注册 服务发现 负载均衡 分析与拓展 安全性 性能监控 日志记录 欢迎来到架构设计专栏~Spring Cloud Alibaba:Nacos服务治理平台 ☆* Spring Cloud Alibaba的Nacos服务治理平台是一个强大的工具,用于简化微服务的注册和发现,以及实现负载均衡,本文将深入探讨Nacos的使用和核心概念。 什么是Nacos? return "Response from other service: " + response.getBody(); } } 分析与拓展 使用Spring Cloud Alibaba的Nacos服务治理平台 可以考虑使用TLS/SSL来保护数据传输,以及使用OAuth2等认证和授权机制来保护服务的访问。 性能监控 随着微服务数量的增加,性能监控变得非常重要。 总之,Spring Cloud Alibaba的Nacos是一个功能强大的服务治理平台,可以大大简化微服务架构中的服务注册、发现和负载均衡。

    55710编辑于 2023-12-13
  • 来自专栏程序猿的大杂烩

    大数据平台 - 数据采集及治理

    数据源是整个大数据平台的上游,数据采集是数据源与数仓之间的管道。在采集过程中针对业务场景对数据进行治理,完成数据清洗工作。 rows selected (0.131 seconds) 0: jdbc:hive2://localhost:10000> ---- 数据治理简介 将数据采集到数仓后所面临的问题: 相比传统数仓大数据时代数据更加多样 : 建立统一数据标准与数据规范,保障数据质量 制定数据管理流程,把控数据整个生命周期 形成平台化工具,提供给用户使用 数据治理: 数据治理包括元数据管理、数据质量管理、数据血缘管理等 数据治理在数据采集 ,帮助业务人员便捷灵活的使用数据 数据治理与周边系统: ODS、DWD、DM等各层次元数据纳入数据治理平台集中管理 数据采集及处理流程中产生的元数据纳入数据治理平台,并建立血缘关系 提供数据管理的服务接口 ,数据模型变更及时通知上下游 ---- Apache Atlas数据治理 常见的数据治理工具: Apache Atlas:Hortonworks主推的数据治理开源项目 Metacat:Netflix开源的元数据管理

    4.2K11发布于 2020-11-16
  • 来自专栏实时计算

    大数据治理——搭建大数据探索平台

    在数据治理中,数据探索服务的价值在初期往往是被忽视的,但是随着业务的增加,分析人员的增加,数据探索服务的价值就会越来越大。 一个成功的数据管理平台,不仅仅要提供各种数据分析的工具,提供各种各样的数据源,更要提供数据探索的能力。 为什么数据探索服务很重要? 但是随着数据量增大,数据平台使用者的增加,数据分析需求的增加,元数据的数量也在增加。这个过程就为寻找的过程带来了非常大的挑战。 数据探索服务 数据探索服务意味着向用户提供一种工具,使其可以了解平台中的数据及其质量。让我们来了解下具体的实现。 Atlas作为大数据元数据管理平台,可以捕获平台上的各种组件的元数据信息。称为钩子,比如可从Kafka,Hive,Hbase中收集元数据。有着安全性和丰富的Rest Api。

    1.2K10发布于 2021-04-13
  • 来自专栏肉眼品世界

    数据治理大数据平台设计方案

    79240发布于 2021-04-20
  • 来自专栏IT大咖说

    建设大数据平台,从“治理”数据谈起

    由于对数据的强依赖,金融业一直非常重视数据平台的建设,经过几代数据平台的验证,发现数据治理平台建设的主要限制因素,而且随着投资和建设的投入增加,对数据治理的重要性的认识也越来越深刻。 所有资产梳理和控制的最终目标都是为了用户能够使用数据,我们通过L0–L1–L2三个层次的定义,以业务驱动为导向提高数据查询的实用性。 L2:将数据库表字段等技术元数据转换为业务人员可以理解的业务元数据。 ? (2)第二阶段:建立管理流程,落地数据标准,提升数据质量 在第二阶段,需要建立大数据管控能力,包括从业务的角度梳理企业数据质量问题,形成质量控制能力,形成核心数据标准,并抓标准落地。 (2)细粒度的敏感信息控制 数据内容安全管理包括对IT系统和数据进行敏感度等级划分的定义、浏览、检核,辅助安全规则在业务、技术领域的应用。

    1K110发布于 2018-04-04
  • 来自专栏EAWorld

    建设大数据平台,从“治理”数据谈起

    由于对数据的强依赖,金融业一直非常重视数据平台的建设,经过几代数据平台的验证,发现数据治理平台建设的主要限制因素,而且随着投资和建设的投入增加,对数据治理的重要性的认识也越来越深刻。 所有资产梳理和控制的最终目标都是为了用户能够使用数据,我们通过L0–L1–L2三个层次的定义,以业务驱动为导向提高数据查询的实用性。 L2:将数据库表字段等技术元数据转换为业务人员可以理解的业务元数据。 ? (2)第二阶段:建立管理流程,落地数据标准,提升数据质量 在第二阶段,需要建立大数据管控能力,包括从业务的角度梳理企业数据质量问题,形成质量控制能力,形成核心数据标准,并抓标准落地。 (2)细粒度的敏感信息控制 数据内容安全管理包括对IT系统和数据进行敏感度等级划分的定义、浏览、检核,辅助安全规则在业务、技术领域的应用。

    2.5K40发布于 2018-03-30
  • 来自专栏大数据学习与分享

    大数据治理平台应用解决方案

    免责声明:本公众号所发布的文章为本公众号原创,或者是在网络搜索到的优秀文章进行的编辑整理,文章版权归原作者所有,仅供读者朋友们学习、参考。对于分享的非原创文章,有些因为无法找到真正来源,如果标错来源或者对于文章中所使用的图片、连接等所包含但不限于软件、资料等,如有侵权,请直接联系后台,说明具体的文章,后台会尽快删除。给您带来的不便,深表歉意。

    51930编辑于 2022-12-12
  • 来自专栏瞎说开发那些事

    服务治理 2 --- Eureka集群

    一、 高可用注册中心 在上一篇[微服务系列] 服务治理—Eureka文章中,介绍了服务注册中心的单节点搭建部署。 然而在常用的微服务结构设计中,一般都是采用分布式的环境,以避免单机故障导致服务调用不可用,所以需要对微服务中的各个组件进行高可用的部署,服务治理中的服务注册中心也是一样。 本章将结合以下的拓扑图构建高可用的服务治理。 ? 三、 快速实践 01 1. 02 2. 服务的发现与消费 1. 生产服务 服务发现与消费主要涉及到两个内容:一是发现服务,而是对发现的服务进行消费(即调用)。 2. 消费服务 服务消费者采用Ribbon负载均衡器来实现。

    728100发布于 2018-06-19
  • 好技能 | 如何搭建微服务治理平台

    2、服务治理通过微服务治理平台,可以调用配置中心提供的接口,动态地修改各种配置来实现服务的治理。根据我的经验,常用的服务治理手段包括以下几种:限流。 3、服务监控微服务治理平台一般包括两个层面的监控。 4、问题定位微服务治理平台实现问题定位,可以从两个方面来进行。 也就是微服务治理平台的数据存储层,因为微服务治理平台不仅需要调用其他组件提供的接口,还需要存储一些基本信息,主要分为以下几种:用户权限。因为微服务治理平台的功能十分强大,所以要对用户的权限进行管理。 因为微服务治理平台能够将多个系统整合在一起,无论是对开发还是运维来说,都能起到事半功倍的作用,这也是当前大部分开源微服务框架所欠缺的部分,所以对于大部分团队来说,都需要自己搭建微服务治理平台

    1.4K10编辑于 2024-11-29
领券