- 综合排序
- 最热优先
- 最新优先
- 来自专栏携程技术
干货 | 携程平台化常态化数据治理之路
作者简介 瑞强，携程高级大数据开发工程师，负责集团客户数据平台、数据资产管理平台的开发和数据治理的推进。 一、背景 数据的重要性不言而喻。 综上，数据治理离不开数据资产的沉淀，只有对数据有宏观地把控、明细地探究，才能贴合数据特性进行治理。所以要进行集团层面的数据治理，就需要集团层面的数据资产平台。携程数据资产管理平台（大禹）应运而生。 携程数据治理体系的目标是可以让每一位数据生产者对各自拥有的数据进行常态化治理。而目前阶段数据治理的核心目标就是提升数据价值、提高数据质量、促进数据流通。 四、平台化与常态化 数据资产管理平台目前有三大功能模块，分别是资产盘点、治理工具、健康分析。三个模块的关系如下图所示： ? 同时由于数据在不断产生，治理也不是一劳永逸的，所以借助平台让每个数据生产者可以便捷地进行常态化治理是必经之路。
87830发布于 2021-06-24 数据治理平台有哪些:2025 年数据治理平台深度解析
然而，当前市场上的数据治理平台功能参差不齐，有的侧重技术架构，有的聚焦行业场景，如何在纷繁复杂的选项中找到适配自身需求的平台，成为企业数字化转型的关键课题。 信创与合规深度绑定：超过 85% 的央国企将 “信创适配能力” 列为数据治理平台选型的首要指标，要求平台从底层数据库到上层应用全面兼容国产化软硬件体系，同时满足等保 2.0、数据分类分级等合规要求。 “治理 + 业务” 融合加速：单纯的技术型治理平台逐渐被淘汰，企业更需要能贴合业务场景的解决方案，例如金融行业的 “反欺诈数据治理”、制造业的 “生产数据资产化” 等，实现 “治理即业务赋能”。 同时，自动将治理后的数据封装为 API 服务，供业务系统调用的 “治理即服务” 数据服务化能力，也是其核心亮点，重点服务于政府（国家级大数据平台、政务服务中心）、制造（重工业、汽车）、媒体出版（新闻机构 规划 “长期演进路径”：避免 “一次性投入”数据治理是长期工程，需考虑平台的扩展性：4. 功能扩展：平台是否支持插件化（如后续新增 AI 治理模块、行业专属插件），避免因功能迭代导致的系统重构。
98300编辑于 2025-08-27主流数据治理平台的有哪些，数据治理平台的核心优点
在此背景下，数据治理平台成为破解数据管理难题的关键工具，它通过标准化的数据管控流程、智能化的资产运营能力，将分散无序的数据转化为可信赖、可复用的数据资产，为企业数字化转型筑牢根基。 数据治理平台的行业趋势AI 驱动的全流程自动化：传统依赖人工的元数据分类、数据质量校验、敏感数据识别等工作正被 AI 技术重塑。 合规与安全常态化：在《数据安全法》《个人信息保护法》等法规约束下，数据治理平台已将合规能力内置为核心功能，通过敏感数据智能识别、全流程追溯、动态脱敏等技术，保障数据使用合法合规。 10. 效果显现周期取决于企业数据基础与项目范围：若仅针对单一业务线的小范围数据治理，搭配成熟的数据治理平台（如普元、Microsoft Purview），通常 3-6 个月可实现数据质量提升与流程规范化；若为全企业级的大规模治理
34610编辑于 2025-10-17大数据平台深度分析：构建与治理的现代化路径
大数据部署与运维 TBDS支持大数据的快速部署和自动化运维，简化了集群管理和故障恢复流程。 功能关键词 数据集成 数据治理 数据分析 数据服务 文章总结 在大数据时代，企业面临着数据爆炸和信息过载的挑战。 腾讯云大数据套件和TBDS提供了强大的数据管理和分析工具，帮助企业构建现代化的数据中台，实现数据的集中管理和高效利用。 通过集成HDFS、Spark、Hive等大数据组件，这些平台能够支持企业在数据存储、处理和分析方面的多样化需求。同时，多租户架构和集群联邦技术的应用，使得资源的隔离和共享变得更加灵活和高效。 随着大数据技术的不断发展，这些平台将继续为企业的数据治理和开发提供强有力的支持。
24810编辑于 2025-07-28- 来自专栏实时流式计算
DataHub——实时数据治理平台
DataHub 首先，阿里云也有一款名为DataHub的产品，是一个流式处理平台，本文所述DataHub与其无关。 数据治理是大佬们最近谈的一个火热的话题。 数据治理要解决数据质量，数据管理，数据资产，数据安全等等。而数据治理的关键就在于元数据管理，我们要知道数据的来龙去脉，才能对数据进行全方位的管理，监控，洞察。 该软件包体系结构在基础上使用了Yarn Workspaces和Ember附加组件，并使用Ember的组件和服务进行了组件化。 对于基于Kafka的提取，预计元数据生产者将发出标准化的元数据更改事件（MCE），其中包含由相应实体URN键控的针对特定元数据方面的建议更改列表。 该项目包括一个模块化UI前端和一个通用元数据体系结构后端。
8.1K20发布于 2020-05-18 - 来自专栏木东居士的专栏
数据治理平台工具前世今生
信息标准化管理平台功能架构 4)第四代数据治理工具-数据治理时代(展望期，2018年-至今) 近年来，随着大数据平台和工业互联网兴起，数据治理平台主要采用数据中台技术和微服务架构初步替代传统架构、面向大数据架构下 图10. 数据治理平台与目标系统及数据资源中心的关系 数据治理平台是信息化架构中是基础性平台，为数据汇聚平台和数据存储平台提供基础层面数据标准化保障，进而为数据分析应用平台提供服务。 工商管理硕士，具有有20年的特大型集团企业IT咨询服务和数据治理行业工作经验，前10年主要从事物资采购变革与管理、PLM、ERP、MES等领域咨询服务。 近10年专注数据治理及标准化、数据架构、智能工厂等咨询工作。
5.4K78发布于 2019-09-29 - 来自专栏京东技术
分拣平台API安全治理实战
Tech 导读 本文主要基于京东物流的分拣业务平台在生产环境遇到的一些安全类问题，进行定位并采取合适的解决方案进行安全治理，引出对行业内不同业务领域、不同类型系统的安全治理方案的探究，最后笔者也基于自己在金融领域的经验进行了关于 API网关治理方案的分享。 写在前面 随着互联网应用的多元化、复杂化、服务化成为显著趋势，越来越多场景中的应用架构采用应用编程接口（API）作为应用间数据传输和控制流程。同时API接口负责传输数据的数据量以及敏感性也在增加。 5.5 小结 API网关不仅仅是针对安全方面的解决方案，更多的是对API治理的一种综合解决方案，集安全性、隔离性、可扩展性等多方面的综合考量，是一种企业级API治理的通用解决方案。 推荐阅读 Flutter状态管理新的实践 前端工程化在WMS 6.0中的实践 可视化服务编排在金融APP中的实践 水滴低代码搭建——6倍提效，新品首发素材审核系统实践之路 求分享 求点赞 求在看
77020编辑于 2022-08-29 主数据治理平台培训规程
本文主要对公司MDM主数据管理平台进行产品培训说明，为后续项目、内部员工主数据产品培训提供培训规程，使主数据平台产品培训规范化、流程化，本文档同时也要按照产品的迭代升级而不断更新。 1.1产品架构主数据平台可以将企业的主数据进行整合，集中进行数据的清洗和标准化，并以集成服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给各业务系统。 1.2涉及方案 主数据管理平台可以和数通畅联另一款产品企业服务总线组成基础数据治理解决方案，解决各个系统之间的数据分散、重复，未完全形成业务闭环，数据孤立不能互通，数据统计不一致，企业主数据（组织、人员 2.1培训目的 主数据管理平台主要培训目的如下： 1.了解主数据管理平台以及基础数据治理方案； 2.了解主数据管理平台的全生命周期的管理过程； 3.了解主数据管理平台的四种功能模型（简单列表、主从管理、 4.2数据清洗导入 数据清洗导入主要消耗0.3人天，数据清洗导入主要培训内容包括： 1.数据初始化Excel、服务模板的导出（基于数据建模配置生成）； 2.在数据清洗Excel导入时缺失的、不合规、重复的数据处理
26610编辑于 2025-06-11- 来自专栏大数据学习与分享
数据治理平台功能架构规划
狭义上讲，数据治理是指对数据质量的管理、专注在数据本身。 、技术和管理活动都属于数据治理范畴。 数据治理的目标是提高数据的质量（准确性和完整性），保证数据的安全性（保密性、完整性及可用性），实现数据资源在各组织机构部门的共享；推进信息资源的整合、对接和共享，从而提升企业信息化水平，充分发挥信息化作用 随着大数据平台和工业互联网兴起，数据治理平台主要采用数据中台技术和微服务架构初步替代传统架构、面向大数据架构下，为数据资源中心与外部数据系统提供数据服务。 下面概述了数据治理平台发展背景和平台架构需求分析，重点对数据治理平台功能架构的各个模块进行详细介绍，供企业规划建设数据治理平台时参考和借鉴。
2.8K30编辑于 2022-05-19 - 来自专栏物流IT圈
大数据平台下的数据治理
数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程。 相比传统数仓时代，进入Hadoop集群的数据更加的多样、更加的复杂、量更足，这个数仓时代都没有处理好的事情，如何能够在大数据时代处理好，这是所有大数据应用者最最期盼的改变，也是大数据平台建设者最有挑战的难题 ：数据治理难的不是技术，而是流程，是协同，是管理。 同时，数据治理将帮助组织更好的遵从内外部有关数据使用和管理的监管法规，如SOX法案，Basel II协议等。良好的数据治理必将为信息化时代的企业带来不可替代的竞争优势。 物流IT圈 泛物流行业IT知识分享传播、从业人士互帮互助，覆盖快递快运/互联网物流平台/城配/即时配送/3PL/仓配/货代/冷链/物流软件公司/物流装备/物流自动化设备/物流机器人等细分行业。
2.2K20发布于 2019-10-09 - 来自专栏云云众生s
平台工程真的只是API治理吗？
平台工程或 API 治理，叫什么重要吗？绘制并标准化您的 API，以便在内部轻松访问和重复使用。 伦敦——“如果 API 治理 和 平台工程 有一个 Venn 图，它们将是一个圆圈，”Platformable 总监 Mark Boyd 在 4 月 10 日的 API 大会 主题演讲中争论道。 而专注于 API 和数据标准化以及跨组织服务可重用性是任何平台策略的基础。 “API 是摇摆不定的狗，”Boyd 争论道，“因为 API 通常可以从根本上改变业务。” Boyd 提供了另一个平台最爱，团队拓扑，这是一种工程管理系统，可以帮助组织团队围绕一种新的共享 API 治理方式。 衡量 API 治理成功 无论你选择什么——无论你如何称呼这种服务和 API 标准化和可重用性策略——Boyd 都敦促你记住你的内部开发者是你的客户。你应该发布你的路线图并与他们分享，以获取反馈。
31510编辑于 2024-04-17 - 来自专栏HT
园区元宇宙：打造智慧园区综合治理可视化管理平台
前言 智慧园区是指融合应用云计算、物联网、大数据等新一代信息与通信技术，通过监测、分析、智慧响应等方式整合园区内外资源，实现基础设施智能化、规划管理信息化、公共服务便捷化、社会治理精细化和产业发展现代化 整个园区的能耗情况、环保监测、照明情况、安防情况等，都可以通过图扑软件智慧一体化平台展示，实现园区运行安全“一屏通览”、园区综合治理“一网统管”。 效果展示 图扑科技园数据可视化监控平台将园区的基础设施进行 3D 展示，再将环境、能耗、人员、停车等数据通过 2D 面板呈现，有效、及时地做到事前预警、事中监测、事后分析，提高园区管理效率，提升园区的安全指数 环境与空调系统 HT 智慧园区管理平台能够对各子系统的数据进行统一化的采集，并按业务需求对数据进行分析，助力业务持续改进。 总结 采用信息化与人工智能等先进技术，通过数据感知采集、网络信息应用、集中汇总分析、应用决策服务等环节，集成园区“安环能”、经济运行、应急管理一体化联动平台，对园区安全风险、环境污染、能源消耗以及应急指挥等各个环节
4.3K20编辑于 2022-05-10 - 来自专栏智慧教育
“罗湖智慧教育云平台”发布 腾讯教育助力实现数字化治理
云平台技术保障：每周超百万人次登录 在过去的一个半月，罗湖教育打了一场漂亮的防疫攻坚战：以在线直播为例，仅用1个星期，就完成了全区80所学校，5千余名教师，8万余名学生，10万余名家长的云平台信息录入。 三大建设特点：平台打通 应用扩展 数据共享 “2020年2月，‘罗湖智慧教育云平台’一期正式上线。”殷刚介绍说，罗湖智慧教育云平台可提供全周期、全流程、系统化、个性化的教育教学服务。 图：腾讯教育副总裁王帅 同时，腾讯教育以“连接”、“内容”、“生态”三大中心为抓手，助力罗湖打通校园数据孤岛，高效利用数据实现数字化治理，构建融合生态，让“因材施教”等更多教育愿景得以实现。 连接中心是以腾讯智慧校园平台、微信生态为基础构建的一体化信息管理平台，旨在融通教育应用生态，实现家、校、管理者的高效沟通和管理工作落地。 内容中心将打造以人工智能教育为亮点的教学管理平台，接入多元化教学课程模型，以平台技术助力生态中心的打造。
3.7K20发布于 2020-04-03 - 来自专栏开发经验
Spring Cloud Alibaba：Nacos服务治理平台
使用Nacos进行服务注册与发现 服务注册 服务发现 负载均衡 分析与拓展 安全性 性能监控 日志记录 欢迎来到架构设计专栏~Spring Cloud Alibaba：Nacos服务治理平台 ☆* Spring Cloud Alibaba的Nacos服务治理平台是一个强大的工具，用于简化微服务的注册和发现，以及实现负载均衡，本文将深入探讨Nacos的使用和核心概念。 什么是Nacos？ Nacos（发音为"nac-os"，前身是阿里巴巴的Nacos项目）是一个用于服务发现、配置管理和动态DNS的开源平台。它提供了一种灵活的方式来注册、发现和配置微服务。 return "Response from other service: " + response.getBody(); } } 分析与拓展 使用Spring Cloud Alibaba的Nacos服务治理平台 总之，Spring Cloud Alibaba的Nacos是一个功能强大的服务治理平台，可以大大简化微服务架构中的服务注册、发现和负载均衡。
54710编辑于 2023-12-13 模型设计、数据架构、数据治理一体化大数据平台
随着互联网规模不断的扩大，数据也在爆炸式地增长，各种结构化、半结构化、非结构化数据的产生，越来越多的企业开始在大数据平台下进行数据处理。 本文主要从总体思路、模型设计、数据架构、数据治理四个方面介绍了如何利用大数据平台的特性，构建更贴合大数据应用的数据仓库。 我们之所以选择基于大数据平台构建数据仓库，是由大数据平台丰富的特征决定的： (1)强大的计算和存储能力，使得更扁平化的数据流程设计成为可能，简化计算过程； (2)多样的编程接口和框架，丰富了数据加工的手段 ； (3)丰富的数据采集通道，能够实现非结构化数据和半结构化数据的采集； (4)各种安全和管理措施，保障了平台的可用性。 在大数据平台仓库架构中，日志在采集到平台之前不做结构化处理； 在大数据平台上按行符分割每条日志，整条日志存储在一个数据表字段；后续，通过UDF或MR计算框架实现日志结构化。
29810编辑于 2025-12-23- 来自专栏大数据杂货铺
DataHub元数据治理平台架构
1.DataHub架构概述 DataHub 是第三代元数据平台，支持为现代数据堆栈构建的数据发现、协作、治理和端到端可观察性。 1.1.1.元数据建模 DataHub 的元数据模型是使用与序列化无关的语言来描述的。支持REST和GraphQL API 。 我们的路线图包括一个里程碑，即很快支持无代码元数据模型编辑，这将提高易用性，同时保留类型化 API 的所有优势。在元数据建模中了解元数据建模。 1.1.2.基于流的实时元数据平台 DataHub 的元数据基础设施是面向流的，允许元数据的更改在几秒钟内在平台内进行通信和反映。 最值得注意的是，该 API 由用户界面（如下所述）使用，以实现搜索和发现、治理、可观察性等。
3.2K10编辑于 2024-01-31 数据治理选型对比：Apache Atlas vs 商业平台在存储过程解析与自动化治理的实测分析
场景能力对比：解析之后，如何驱动自动化治理？高精度解析是强大的“武器”，但唯有与业务场景结合，才能转化为真正的“战斗力”。在解析能力之上的自动化应用水平，是开源与商业平台另一个显著的差距。 选型避坑指南：根据你的企业现状做决策选择开源还是商业平台，不应是单纯的技术偏好或成本博弈，而应基于企业数据现状和治理目标的理性决策。 治理阶段：处于数据治理初期，对自动化治理场景要求不高。 Q3: 除了存储过程，商业元数据平台还有哪些关键优势？核心优势在于将高精度血缘转化为自动化治理能力。 这些体系化的、开箱即用的场景化能力，是开源工具需要大量定制才能部分实现的。Q4: 中小企业是否也需要为存储过程解析投入商业平台？取决于业务对数据的依赖程度和风险承受能力。
12610编辑于 2026-02-03- 来自专栏程序猿的大杂烩
大数据平台 - 数据采集及治理
数据源是整个大数据平台的上游，数据采集是数据源与数仓之间的管道。在采集过程中针对业务场景对数据进行治理，完成数据清洗工作。 使用Sqoop传输大量结构化或半结构化数据的过程是完全自动化的。 Sqoop数据传输示意图： ? Sqoop Import流程： ? 任务启动时刻 : 2020-11-15 11:10:20 任务结束时刻 : 2020-11-15 11:10:32 任务总计耗时 ： 建立统一数据标准与数据规范，保障数据质量 制定数据管理流程，把控数据整个生命周期 形成平台化工具，提供给用户使用 数据治理： 数据治理包括元数据管理、数据质量管理、数据血缘管理等 数据治理在数据采集 ，帮助业务人员便捷灵活的使用数据 数据治理与周边系统： ODS、DWD、DM等各层次元数据纳入数据治理平台集中管理 数据采集及处理流程中产生的元数据纳入数据治理平台，并建立血缘关系 提供数据管理的服务接口
4.2K11发布于 2020-11-16 - 来自专栏「3306 Pai」社区
怎么让MySQL自动化平台再快10倍？
我的前文《构建MySQL自动化平台思路》中提过的MySQL平台自第一期上线后，一直都是顺风顺水的。 不过.... 当MySQL数量为4个的时候，响应时间为10S左右。 当时前端妹子并不知道有这个坑，一顿不耐烦的F5神操作后，系统无可救药地被刷挂了...
89250发布于 2018-10-18 【KPaaS洞察】什么是主数据治理？从概念定义到平台化落地实践
本文将从技术定义、核心范畴、实施难点及平台化解决方案四个维度，深入解析主数据治理的本质及其在企业架构中的关键作用。 因此，构建一个具备标准化建模能力、自动化同步机制及灵活扩展性的平台化主数据治理体系，已成为企业数字化转型的必然选择。 平台化治理方案：针对上述挑战，基于数据集成平台的主数据管理方案提供了一套系统化的解决思路。 该类平台不取代现有的业务系统，而是作为企业级的数据枢纽，通过以下核心能力实现高效治理：1.便捷建模与标准固化平台提供了便捷的主数据模型管理工具。 通过集成平台化的主数据管理解决方案，企业能够以较低的改造成本和较高的灵活性，构建起标准化、自动化、实时化的主数据治理体系。
19921编辑于 2026-03-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号