- 综合排序
- 最热优先
- 最新优先
- 来自专栏携程技术
干货 | 携程平台化常态化数据治理之路
作者简介 瑞强，携程高级大数据开发工程师，负责集团客户数据平台、数据资产管理平台的开发和数据治理的推进。 一、背景 数据的重要性不言而喻。 综上，数据治理离不开数据资产的沉淀，只有对数据有宏观地把控、明细地探究，才能贴合数据特性进行治理。所以要进行集团层面的数据治理，就需要集团层面的数据资产平台。携程数据资产管理平台（大禹）应运而生。 携程数据治理体系的目标是可以让每一位数据生产者对各自拥有的数据进行常态化治理。而目前阶段数据治理的核心目标就是提升数据价值、提高数据质量、促进数据流通。 四、平台化与常态化 数据资产管理平台目前有三大功能模块，分别是资产盘点、治理工具、健康分析。三个模块的关系如下图所示： ? 同时由于数据在不断产生，治理也不是一劳永逸的，所以借助平台让每个数据生产者可以便捷地进行常态化治理是必经之路。
87830发布于 2021-06-24 数据治理平台有哪些:2025 年数据治理平台深度解析
然而，当前市场上的数据治理平台功能参差不齐，有的侧重技术架构，有的聚焦行业场景，如何在纷繁复杂的选项中找到适配自身需求的平台，成为企业数字化转型的关键课题。 “治理 + 业务” 融合加速：单纯的技术型治理平台逐渐被淘汰，企业更需要能贴合业务场景的解决方案，例如金融行业的 “反欺诈数据治理”、制造业的 “生产数据资产化” 等，实现 “治理即业务赋能”。 以某国有大型银行为例，普元为其构建的 “数据治理平台” 不仅实现了全信创环境部署，还通过实时数据脱敏技术，在保障客户信息安全的同时，支持业务人员正常查询数据，兼顾合规与业务效率。2. • 长期规划支持：为客户提供 “数据治理成熟度 roadmap”，分阶段（如 1 年合规落地、2 年资产化、3 年价值变现）推进项目，避免一次性投入过大，同时保障长期战略落地。 反之，某省级政务大数据中心选择普元信息，凭借其成熟的信创解决方案，仅用 6 个月就完成全流程治理，且后续新增 “民生数据服务” 功能时，通过插件化扩展快速实现，成本仅为初始投入的 15%。2.
98300编辑于 2025-08-27主流数据治理平台的有哪些，数据治理平台的核心优点
在此背景下，数据治理平台成为破解数据管理难题的关键工具，它通过标准化的数据管控流程、智能化的资产运营能力，将分散无序的数据转化为可信赖、可复用的数据资产，为企业数字化转型筑牢根基。 数据治理平台的行业趋势AI 驱动的全流程自动化：传统依赖人工的元数据分类、数据质量校验、敏感数据识别等工作正被 AI 技术重塑。 该平台深度融合智能集成、智能低代码与智能数据资产治理能力，打造 “连接 — 深度集成 — 治理” 的阶梯式基础架构，有效避免架构混乱与数据孤岛问题。2. 2. 数据治理平台与数据集成工具的核心区别是什么？ 效果显现周期取决于企业数据基础与项目范围：若仅针对单一业务线的小范围数据治理，搭配成熟的数据治理平台（如普元、Microsoft Purview），通常 3-6 个月可实现数据质量提升与流程规范化；若为全企业级的大规模治理
34610编辑于 2025-10-17大数据平台深度分析：构建与治理的现代化路径
大数据部署与运维 TBDS支持大数据的快速部署和自动化运维，简化了集群管理和故障恢复流程。 功能关键词 数据集成 数据治理 数据分析 数据服务 文章总结 在大数据时代，企业面临着数据爆炸和信息过载的挑战。 腾讯云大数据套件和TBDS提供了强大的数据管理和分析工具，帮助企业构建现代化的数据中台，实现数据的集中管理和高效利用。 通过集成HDFS、Spark、Hive等大数据组件，这些平台能够支持企业在数据存储、处理和分析方面的多样化需求。同时，多租户架构和集群联邦技术的应用，使得资源的隔离和共享变得更加灵活和高效。 随着大数据技术的不断发展，这些平台将继续为企业的数据治理和开发提供强有力的支持。
24810编辑于 2025-07-28- 来自专栏实时流式计算
DataHub——实时数据治理平台
DataHub 首先，阿里云也有一款名为DataHub的产品，是一个流式处理平台，本文所述DataHub与其无关。 数据治理是大佬们最近谈的一个火热的话题。 数据治理要解决数据质量，数据管理，数据资产，数据安全等等。而数据治理的关键就在于元数据管理，我们要知道数据的来龙去脉，才能对数据进行全方位的管理，监控，洞察。 DataHub诞生 Github https://github.com/linkedin/datahub License Apache-2.0 支持数据源 LDAP, Hive, Kafka, MySQL, DB2, 前端提供三种交互类型：（1）搜索，（2）浏览和（3）查看/编辑元数据。 该项目包括一个模块化UI前端和一个通用元数据体系结构后端。
8.1K20发布于 2020-05-18 - 来自专栏木东居士的专栏
数据治理平台工具前世今生
信息标准化管理平台功能架构 4)第四代数据治理工具-数据治理时代(展望期，2018年-至今) 近年来，随着大数据平台和工业互联网兴起，数据治理平台主要采用数据中台技术和微服务架构初步替代传统架构、面向大数据架构下 五数据治理管理工具与数据中心及信息系统关系 1)更丰富数据治理平台是企业数据规划、数据标准落地的载体，实现数据治理统一标准、统一规则的支撑 2)数据治理平台包含数据门户地图、主数据管理、数据指标、元数据管理 、数据模型、数据交换与服务、数据资产管理、数据开发、数据质量管理、数据安全等工具，提供规范统一的数据治理和服务的平台 3)数据治理平台是实现数据从产生到应用，分层协同、全面治理的核心 ? 数据治理平台与目标系统及数据资源中心的关系 数据治理平台是信息化架构中是基础性平台，为数据汇聚平台和数据存储平台提供基础层面数据标准化保障，进而为数据分析应用平台提供服务。 数据治理平台的架构需要确保敏捷、轻巧，不宜太厚重。 数据处理层属于数据集中存储处理中心，负责将底层标准化数据源汇集之后供给上层应用使用。
5.4K78发布于 2019-09-29 - 来自专栏cloudskyme
虚拟化平台cloudstack（2）——安装（上）
cloud 配置sudo用户组免密码切换 //同样是为了解决和上面相同的权限问题 sudo vi /etc/sudoers 修改： %sudo ALL=(ALL:ALL) NOPASSWD:ALL 初始化root 600 max_connections=350 log-bin=mysql-bin binlog-format = 'ROW' 重启MySQL sudo service mysql restart 初始化数据库 cloud-install-sys-tmplt -m /mnt/secondary \ -u http://download.cloud.com/templates/acton/acton-systemvm-02062012.qcow2. bz2 -h kvm -F 等待…… 安装成功后显示： Successfully installed system VM template to /mnt/secondary/template/tmpl /1/3/ 安装配置KVM虚拟化Host主机 安装配置agent： sudo apt-get install cloud-agent 安装配置libvirt： sudo vi /etc/libvirt/
1.6K80发布于 2018-03-20 - 来自专栏京东技术
分拣平台API安全治理实战
Tech 导读 本文主要基于京东物流的分拣业务平台在生产环境遇到的一些安全类问题，进行定位并采取合适的解决方案进行安全治理，引出对行业内不同业务领域、不同类型系统的安全治理方案的探究，最后笔者也基于自己在金融领域的经验进行了关于 API网关治理方案的分享。 写在前面 随着互联网应用的多元化、复杂化、服务化成为显著趋势，越来越多场景中的应用架构采用应用编程接口（API）作为应用间数据传输和控制流程。同时API接口负责传输数据的数据量以及敏感性也在增加。 支付开放平台目前主流的两种签名算法： 开放平台签名算法名称 标准签名算法名称 备注 RSA2 sha256WithRSA 先使用sha256做摘要，再使用RSA对摘要做非对称加密（强烈推荐使用），强制要求 05 自身实践经历 5.1 背景介绍 笔者之前一直在金融支付相关业务领域从事研发工作，参与过2c的钱包app应用、2b的资金下发saas系统以及资金下发开放平台等相关系统的API设计与研发工作
77020编辑于 2022-08-29 - 来自专栏大数据学习与分享
数据治理平台功能架构规划
狭义上讲，数据治理是指对数据质量的管理、专注在数据本身。 、技术和管理活动都属于数据治理范畴。 数据治理的目标是提高数据的质量（准确性和完整性），保证数据的安全性（保密性、完整性及可用性），实现数据资源在各组织机构部门的共享；推进信息资源的整合、对接和共享，从而提升企业信息化水平，充分发挥信息化作用 随着大数据平台和工业互联网兴起，数据治理平台主要采用数据中台技术和微服务架构初步替代传统架构、面向大数据架构下，为数据资源中心与外部数据系统提供数据服务。 下面概述了数据治理平台发展背景和平台架构需求分析，重点对数据治理平台功能架构的各个模块进行详细介绍，供企业规划建设数据治理平台时参考和借鉴。
2.8K30编辑于 2022-05-19 主数据治理平台培训规程
本文主要对公司MDM主数据管理平台进行产品培训说明，为后续项目、内部员工主数据产品培训提供培训规程，使主数据平台产品培训规范化、流程化，本文档同时也要按照产品的迭代升级而不断更新。 1.1产品架构主数据平台可以将企业的主数据进行整合，集中进行数据的清洗和标准化，并以集成服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给各业务系统。 1.2涉及方案 主数据管理平台可以和数通畅联另一款产品企业服务总线组成基础数据治理解决方案，解决各个系统之间的数据分散、重复，未完全形成业务闭环，数据孤立不能互通，数据统计不一致，企业主数据（组织、人员 2.1培训目的 主数据管理平台主要培训目的如下： 1.了解主数据管理平台以及基础数据治理方案； 2.了解主数据管理平台的全生命周期的管理过程； 3.了解主数据管理平台的四种功能模型（简单列表、主从管理、 4.2数据清洗导入 数据清洗导入主要消耗0.3人天，数据清洗导入主要培训内容包括： 1.数据初始化Excel、服务模板的导出（基于数据建模配置生成）； 2.在数据清洗Excel导入时缺失的、不合规、重复的数据处理
26610编辑于 2025-06-11- 来自专栏java架构计划训练营
SpringCloud Feign服务治理(2)
Feign是Netflix开发的声明式、模板化的HTTP客户端， Feign可以帮助我们更快捷、优雅地调用HTTP API。 2、在调用方和被调用方服务启动类入口添加注解，并配置扫描路径 @EnableDiscoveryClient //让注册中心能够发现这个服务 @EnableFeignClients(basePackages
22710编辑于 2022-06-14 - 来自专栏HT
园区元宇宙：打造智慧园区综合治理可视化管理平台
前言 智慧园区是指融合应用云计算、物联网、大数据等新一代信息与通信技术，通过监测、分析、智慧响应等方式整合园区内外资源，实现基础设施智能化、规划管理信息化、公共服务便捷化、社会治理精细化和产业发展现代化 整个园区的能耗情况、环保监测、照明情况、安防情况等，都可以通过图扑软件智慧一体化平台展示，实现园区运行安全“一屏通览”、园区综合治理“一网统管”。 效果展示 图扑科技园数据可视化监控平台将园区的基础设施进行 3D 展示，再将环境、能耗、人员、停车等数据通过 2D 面板呈现，有效、及时地做到事前预警、事中监测、事后分析，提高园区管理效率，提升园区的安全指数 通过 HT 可视化的 2D 面板和图表的数据绑定，进行实时的数据展现。 水电气能耗按照月份分别统计，采用不同颜色的面积图进行展示。 环境与空调系统 HT 智慧园区管理平台能够对各子系统的数据进行统一化的采集，并按业务需求对数据进行分析，助力业务持续改进。
4.3K20编辑于 2022-05-10 - 来自专栏物流IT圈
大数据平台下的数据治理
数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程。 相比传统数仓时代，进入Hadoop集群的数据更加的多样、更加的复杂、量更足，这个数仓时代都没有处理好的事情，如何能够在大数据时代处理好，这是所有大数据应用者最最期盼的改变，也是大数据平台建设者最有挑战的难题 ：数据治理难的不是技术，而是流程，是协同，是管理。 同时，数据治理将帮助组织更好的遵从内外部有关数据使用和管理的监管法规，如SOX法案，Basel II协议等。良好的数据治理必将为信息化时代的企业带来不可替代的竞争优势。 物流IT圈 泛物流行业IT知识分享传播、从业人士互帮互助，覆盖快递快运/互联网物流平台/城配/即时配送/3PL/仓配/货代/冷链/物流软件公司/物流装备/物流自动化设备/物流机器人等细分行业。
2.2K20发布于 2019-10-09 - 来自专栏云云众生s
平台工程真的只是API治理吗？
平台工程或 API 治理，叫什么重要吗？绘制并标准化您的 API，以便在内部轻松访问和重复使用。 而专注于 API 和数据标准化以及跨组织服务可重用性是任何平台策略的基础。 “API 是摇摆不定的狗，”Boyd 争论道，“因为 API 通常可以从根本上改变业务。” Boyd 提供了另一个平台最爱，团队拓扑，这是一种工程管理系统，可以帮助组织团队围绕一种新的共享 API 治理方式。 但是，正如他所说，巨大的 API 格局正在不断扩展——特别是如果你遵循Boyd 的 API 治理和平台工程重叠。迄今为止，它已收录了 2,159 个 API 工具。 衡量 API 治理成功 无论你选择什么——无论你如何称呼这种服务和 API 标准化和可重用性策略——Boyd 都敦促你记住你的内部开发者是你的客户。你应该发布你的路线图并与他们分享，以获取反馈。
31510编辑于 2024-04-17 - 来自专栏智慧教育
“罗湖智慧教育云平台”发布 腾讯教育助力实现数字化治理
自3月2日以来，各级中小学校日平均在线人数8万次。 三大建设特点：平台打通 应用扩展 数据共享 “2020年2月，‘罗湖智慧教育云平台’一期正式上线。” 殷刚介绍说，罗湖智慧教育云平台可提供全周期、全流程、系统化、个性化的教育教学服务。 图：腾讯教育副总裁王帅 同时，腾讯教育以“连接”、“内容”、“生态”三大中心为抓手，助力罗湖打通校园数据孤岛，高效利用数据实现数字化治理，构建融合生态，让“因材施教”等更多教育愿景得以实现。 连接中心是以腾讯智慧校园平台、微信生态为基础构建的一体化信息管理平台，旨在融通教育应用生态，实现家、校、管理者的高效沟通和管理工作落地。 内容中心将打造以人工智能教育为亮点的教学管理平台，接入多元化教学课程模型，以平台技术助力生态中心的打造。
3.7K20发布于 2020-04-03 模型设计、数据架构、数据治理一体化大数据平台
随着互联网规模不断的扩大，数据也在爆炸式地增长，各种结构化、半结构化、非结构化数据的产生，越来越多的企业开始在大数据平台下进行数据处理。 本文主要从总体思路、模型设计、数据架构、数据治理四个方面介绍了如何利用大数据平台的特性，构建更贴合大数据应用的数据仓库。 我们之所以选择基于大数据平台构建数据仓库，是由大数据平台丰富的特征决定的： (1)强大的计算和存储能力，使得更扁平化的数据流程设计成为可能，简化计算过程； (2)多样的编程接口和框架，丰富了数据加工的手段 数据基础层主要完成的工作包括以下几点： (1)数据采集:把不同数据源的数据统一采集到一个平台上； (2)数据清洗:清洗不符合质量要求的数据，避免脏数据参与后续数据计算； (3)数据归类:建立数据目录 ； (2)分析服务用来提供明细的事实数据，利用大数据平台的实时计算能力，允许操作人员自主灵活的进行各种维度的交叉组合查询。
29810编辑于 2025-12-23- 来自专栏开发经验
Spring Cloud Alibaba：Nacos服务治理平台
使用Nacos进行服务注册与发现 服务注册 服务发现 负载均衡 分析与拓展 安全性 性能监控 日志记录 欢迎来到架构设计专栏~Spring Cloud Alibaba：Nacos服务治理平台 ☆* Spring Cloud Alibaba的Nacos服务治理平台是一个强大的工具，用于简化微服务的注册和发现，以及实现负载均衡，本文将深入探讨Nacos的使用和核心概念。 什么是Nacos？ return "Response from other service: " + response.getBody(); } } 分析与拓展 使用Spring Cloud Alibaba的Nacos服务治理平台 可以考虑使用TLS/SSL来保护数据传输，以及使用OAuth2等认证和授权机制来保护服务的访问。 性能监控 随着微服务数量的增加，性能监控变得非常重要。 总之，Spring Cloud Alibaba的Nacos是一个功能强大的服务治理平台，可以大大简化微服务架构中的服务注册、发现和负载均衡。
54710编辑于 2023-12-13 - 来自专栏大数据杂货铺
DataHub元数据治理平台架构
1.DataHub架构概述 DataHub 是第三代元数据平台，支持为现代数据堆栈构建的数据发现、协作、治理和端到端可观察性。 1.1.1.元数据建模 DataHub 的元数据模型是使用与序列化无关的语言来描述的。支持REST和GraphQL API 。 1.1.2.基于流的实时元数据平台 DataHub 的元数据基础设施是面向流的，允许元数据的更改在几秒钟内在平台内进行通信和反映。 2.DataHub组件概述 DataHub 平台由下图所示的组件组成。 2.1.元数据存储 元数据存储负责存储构成元数据图的实体和方面。 最值得注意的是，该 API 由用户界面（如下所述）使用，以实现搜索和发现、治理、可观察性等。
3.2K10编辑于 2024-01-31 数据治理选型对比：Apache Atlas vs 商业平台在存储过程解析与自动化治理的实测分析
摘要：本文针对金融、制造等行业中 DB2、Oracle 存储过程解析的治理难题，深度对比了 Apache Atlas 与 Aloudata BIG 等商业平台的技术差异。 实证案例：浙江农商联合银行在引入 Aloudata BIG 后，对其核心系统中的 DB2 存储过程进行血缘解析，实现了 99% 的解析准确率（数据来源：浙江农商联合银行案例实践），为后续的自动化治理奠定了可靠基础 场景能力对比：解析之后，如何驱动自动化治理？高精度解析是强大的“武器”，但唯有与业务场景结合，才能转化为真正的“战斗力”。在解析能力之上的自动化应用水平，是开源与商业平台另一个显著的差距。 治理阶段：处于数据治理初期，对自动化治理场景要求不高。 核心优势在于将高精度血缘转化为自动化治理能力。
12610编辑于 2026-02-03- 来自专栏程序猿的大杂烩
大数据平台 - 数据采集及治理
数据源是整个大数据平台的上游，数据采集是数据源与数仓之间的管道。在采集过程中针对业务场景对数据进行治理，完成数据清洗工作。 使用Sqoop传输大量结构化或半结构化数据的过程是完全自动化的。 Sqoop数据传输示意图： ? Sqoop Import流程： ? rows selected (0.131 seconds) 0: jdbc:hive2://localhost:10000> ---- 数据治理简介 将数据采集到数仓后所面临的问题： 相比传统数仓大数据时代数据更加多样 ： 建立统一数据标准与数据规范，保障数据质量 制定数据管理流程，把控数据整个生命周期 形成平台化工具，提供给用户使用 数据治理： 数据治理包括元数据管理、数据质量管理、数据血缘管理等 数据治理在数据采集 ，帮助业务人员便捷灵活的使用数据 数据治理与周边系统： ODS、DWD、DM等各层次元数据纳入数据治理平台集中管理 数据采集及处理流程中产生的元数据纳入数据治理平台，并建立血缘关系 提供数据管理的服务接口
4.2K11发布于 2020-11-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号