首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏EAWorld

    数据资产管理实战

    1、实现异构资产的统一注册、统一审计、统一监控的全生命周期管理 2、通过多种手段提升资产管理的安全,防止敏感信息泄露 大数据资产管理的规范包括两部分,分别为管理规范和技术规范: 1、管理规范:对数据资产管理过程进行了规范化和标准化 2、技术规范:对数据资产管理技术进行规范化和标准化的阐述,包括数据资产模型和数据资产管理接口规范。 数据资产管理平台提供了如下能力: 1、一体化的数据资产管控(注册、审计、统计、影响分析等) 2、多环境的数据资产使用同一套管理办法及流程,与存储模型、业务域没有关系 那么,我们首先来看看如何快速实现异构环境的数据资产注册 、下游资产关系等 2、详细:细化到资产的各个字段定义等详细信息 3、结构化:实现每个资产信息结构化存储 基于数据资产管理平台建设数据资产服务能力,组建数据管理体系团队。 通过大数据资产管理项目的建设及实施,上海移动实现了: 1、建立数据资产管理服务体系 2、统一数据模型注册管控 3、提供有效的数据质量审计审核 通过建立数据资产管理平台,上海移动从整体上改善了企业对多种数据的管控能力

    4.2K42发布于 2018-04-02
  • 来自专栏python与大数据分析

    滴滴数据资产管理实践

    滴滴数据每天数据量约100T+,和一个中小型省级移动公司数据差不多,但比较好奇的是滴滴如何能实时采集到数以百万千万级的源端数据,和物联网规模比较相似;其次不得不佩服互联网公司在研发工作上的投入,数据资产的全自动管理数据开发平台是密切相关的 ,绝大多数公司的元数据数据质量和数据开发过程是分离的,导致元数据数据质量无法适应动态变化过程,结果是元数据数据质量最终与生产相脱节而失败;不管最终有多大用处,但弟弟订单数据毫秒级更新和实时大屏呈现彰显了滴滴的技术实力

    1.3K20编辑于 2022-03-11
  • 来自专栏全栈程序员必看

    数据资产管理实战

    1、实现异构资产的统一注册、统一审计、统一监控的全生命周期管理 2、通过多种手段提升资产管理的安全,防止敏感信息泄露 大数据资产管理的规范包括两部分,分别为管理规范和技术规范: 1、管理规范:对数据资产管理过程进行了规范化和标准化 2、技术规范:对数据资产管理技术进行规范化和标准化的阐述,包括数据资产模型和数据资产管理接口规范。 数据资产管理平台提供了如下能力: 1、一体化的数据资产管控(注册、审计、统计、影响分析等) 2、多环境的数据资产使用同一套管理办法及流程,与存储模型、业务域没有关系 那么,我们首先来看看如何快速实现异构环境的数据资产注册 、下游资产关系等 2、详细:细化到资产的各个字段定义等详细信息 3、结构化:实现每个资产信息结构化存储 基于数据资产管理平台建设数据资产服务能力,组建数据管理体系团队。 通过大数据资产管理项目的建设及实施,上海移动实现了: 1、建立数据资产管理服务体系 2、统一数据模型注册管控 3、提供有效的数据质量审计审核 通过建立数据资产管理平台,上海移动从整体上改善了企业对多种数据的管控能力

    87020编辑于 2022-08-24
  • 来自专栏FreeBuf

    数据安全实践之数据资产管理

    前言 在企业安全建设中,资产管理是很多安全工作的基础。而数据资产管理可以帮助我们更准确的发现安全风险,执行更有效的控制措施,在数据安全体系化建设中也有着举足轻重的作用。 数据安全视角的数据资产 ? 整体架构与价值 数据资产管理主要分为三部分:数据采集,数据整合与识别,数据使用 ? 2.数据所属应用,应用数据接口 应用一般从CMDB或公司的资产管理平台中获取,注意的是需要有一个唯一标识将应用和数据库进行关联。 ,已发布公告等 数据资产管理中阈值数据分级分类字典,如: 数据标签 数据分类 数据分级 手机号 用户数据 L3 用户画像 用户数据 L3 员工工资 公司数据 L3 昵称 用户数据 L0 敏感数据识别 = -1); 2.敏感数据接口识别 从流量中获取数据包对response的body内容进行数据解析: 通过正则提取是否含有批量敏感数据,如匹配***,手机号等。

    3.3K10发布于 2020-02-20
  • 来自专栏数据中心正经研究院

    U位资产管理数据中心IT资产管理中的应用

    总体来说,目前传统的数据中心IT资产管理方式存在以下问题:图片第一、IT资产没有实现实时化监管。 在精细化与颗粒化管理成为趋势的今天,许多企业IT资产依然使用粗放的管理模式,无法了解IT资产的使用率情况,IT资产的相关数据没有形成准确的报表,也未进行充分利用,导致公司容易产生不明资产或者资产限制,使得上层做决策时会出现资源浪费 综合上述不难发现IT资产管理的难题主要有:1) 依赖人工管理,无法实现实时精准定位IT资产所在的机柜U位;2) 缺乏安全监管手段,无法实时安全监管IT资产的位置变动、信息变动;3) 人工盘点耗时耗力,无法精准自动盘点 同时,实时上报IT资产位置、容量和变更等信息给资产管理系统,实现信息的自动采集、录入、更新等工作;2) IT资产发生非法异动,设备实时告警,防止资产丢失,保障资产安全;3) 秒级完成所有IT资产的实时和定时自动化盘点工作 ;4) 资产精细化管理,明确资产成本和效益,提供精准有效的资产数据,提升相应的决策水平;5) 自动统计机柜空间利用率,提升4%的空间利用率;6) 随时可查IT资产全生命周期状态信息;

    56021编辑于 2024-01-11
  • 来自专栏数据资产管理

    数据资产管理技术与工具

    本文将深入探讨数据资产管理背后的关键技术和工具,重点介绍元数据管理工具、数据质量工具以及综合的数据资产管理平台,揭示它们如何协同工作,为企业打造一个现代化、统一的数据资产管理解决方案。 通过工作台,用户可以创建新的元数据对象、更新现有元数据管理数据版本控制,并查看元数据的历史记录和审计跟踪信息。2. 2. 数据清理和标准化工具数据清理工具可自动识别并修复数据集中的错误,如拼写错误、格式错误和缺失值。 数据资产存储库则是实际存储数据资产数据的底层存储系统,通常基于关系数据库或图数据库技术。数据目录通常建立在此存储库之上,提供友好的用户界面和增强功能。2. 2.云原生架构和云集成随着云计算的广泛采用,数据资产管理解决方案需要与云原生架构相适应,支持跨云和混合云环境。同时,与云数据湖、数据仓库等云服务的无缝集成也将成为重中之重。

    80810编辑于 2024-03-30
  • 来自专栏行业科技知识分享

    资产管理数据可视化

    采用 Hightopo 的产品 HT for Web (以下简称 HT )实现金融资产数据可视化看板大屏,除了拥有丰富的数据可视化组件,还能利用 2D、3D 结合的优势,多维度呈现金融资产数据。 为企业管理者提供及时、简洁、直观、高科技感的资产运行数据,让管理者在企业资产管理省时省力、高效管控。 支付2.gif 资产预算可视化 利用 HT 散点图、柱状图、饼状图等多种可视化效果呈现企业各分公司的资金预算执行情况以及收支金额的统计情况。 归集.gif 企业金融资产大屏目的是将企业现有大量财务数据进行深加工,通过一系列的数据分析,获取事态发展的趋势走向。更全面、更规范、更智能的帮助管理者在短时间内了解到核心数据。 总结 可视化作为传递信息的有效手段,HT 支持 2D 、3D 融合贯通展示各类数据,除了支持基础的三维图形展示,也可以展示模型、BIM 文件内容,也能结合 WebGIS 带来更加具象化的数据呈现。

    3.1K20发布于 2021-07-09
  • 来自专栏数据产品经理成长笔记

    数据资产管理产品架构规划

    数据产品经理从业指南相关文章中讲到,数据资产管理与治理是数据产品经理的四大方向之一。 Q2开始了,近期在整理数据资产方向的产品工作规划,顺便分享一下,数据资产模块到底在做哪些事情,也方便大家在未来找工作的时候(今年铜三铁四的行情让很多人只能静待惊蛰了)判断是不是可以去尝试的数据产品方向。 数据开发者除了自己不能删库跑路外,还需要对数据安全问题负责,所以需要流程化、自动化的权限授权和审批管理流程 2.资产消费者的场景及诉求 指使用数据的业务产品、运营、分析以及二次加工的数据开发人员。 例如提供dataphin之类的流程化建模或数据加工工具 3.数据资产管理 资产管理数据工厂加工好的数据,还需要进行分门别类的规整,贴上各种规格标签,才能给到下游消费者使用。 在这个环节和资产关系密切的就是指标管理、标签资产管理,通过数据API方式,最终将数据输出给到前端的可视化分析产品或者产品、运营主流程的接入应用。

    1.2K10编辑于 2022-07-01
  • 来自专栏肉眼品世界

    数据资产管理平台实践

    数据资产管理服务工作,涵盖企业IT系统生命周期的不同阶段,协助企业建立适合自身特点的数据资产管理制度,提升企业对自身数据资产管理的能力,为后续数据挖掘变现提供可靠、有价值和高质量的数据,提供更好的产品和服务 数据资产管理平台实现数据资产的可视化、自动化和智能化运营,让数据资产管理团队从众多纷繁复杂的数据管理工作中解放出来,降低整体人员投入和成本投入。 围绕数据合作或交易等流通活动,从技术层面来说需要建立相应的流通平台机制,该流通平台需要具备完善的保障机制,如服务保障、管理保障、技术保障等。 从资产价值层面来说需要对数据资产进行准确的估值,尽管目前还没有一个很成熟的数据估值模型,但随着数据资产流通规模的扩大,数据价值肯定会被正确可靠地评估。 目前主要负责大数据资产管理平台、 大规模Hadoop集群治理 、DevOps智能运维平台等产品研发 、商业化项目咨询交付工作 。

    74420编辑于 2022-04-19
  • 来自专栏PPV课数据科学社区

    【大数据】大数据时代的数据资产管理

    一 让数据成为资产 什么样的数据能够成为资产,或者说什么样的数据有资格成为资产? 在这里,资产包含着如下几个要素:1、被企业拥有和控制;2、能够用货币来计量;3、能为企业带来经济利益 ? 只有在建立起有效的数据交换、交易机制后,第三方数据才能被真正的拥有和控制。 ? 2 能够用货币计量 虽然从拥有和控制的角度来看,多数企业的数据都符合资产要素要求。 另一方面,伴随着技术发展,传统的数据处理流程已不能满足业务需要,提高数据处理速度势在必行。 例如,O2O模式对用户数据实时处理有着极高的要求:用户数据伴随用户行为产生,这些数据往往是高速实时数据流。 而且O2O业务周期短,这需要实时的分析用户数据并根据分析结果对用户进行个性化服务,通过传统的数据库查询方式得到的“当前结果”很可能已经没有价值,必须提升对这类数据的高速处理能力才能应对挑战。 ?

    2.5K60发布于 2018-04-24
  • 来自专栏Lansonli技术博客

    数据中台建设(七):数据资产管理

    数据资产管理 随着企业数据越来越大,企业意识到数据是一种无形的资产,通过对企业各业务线产生的海量数据进行合理管理和有效应用,能盘活并充分释放数据的巨大价值。 通过数据资产管理可以保证数据的全生命周期高质量的能力,还可以为各类角色用户提供数据资产的直观视图,方便用户查看和使用数据资产,构建数据资产管理的最终目的是为了提升数据价值,使数据持续赋能业务。 数据资产管理和传统的数据治理实际上区别不大,包含了所有数据治理内容,同时还有数据价值管理数据共享管理内容,可以认为数据资产管理就是数据治理的升级版,是数据治理2.0版本。 数据资产管理的内容主要包括:数据标准管理、元数据管理、主数据管理数据质量管理数据安全管理数据交换管理数据共享管理)、数据生命周期管理七个方面。 五、数据安全管理 企业有些数据非常重要且敏感,这些数据大部分集中在应用系统中,例如银行系统中客户的联络信息、资产信息等,如果不慎泄露,不仅给客户带来损失,也会给银行带来不利的声誉影响,因此数据安全在数据管理和治理过程中是相当重要的

    1.5K61编辑于 2022-05-10
  • 来自专栏数据产品经理成长笔记

    数据地图:数据资产管理,到底管什么?

    数据资产数据中台的重要根基,没有资产数据中台是无源之水,就只能叫做数据工具。在数据中台架构中,数据资产建设、管理、治理是重头戏。那么数据资产到底该如何管理,怎样治理呢? 本文主要分享资产管理模块,后期输出资产建设流程规范、资产治理相关内容。 数据资产所处数据中台中的位置 一、企业数据资产管理面临的问题 数据资产的用户场景可以概况为两类,找数据和管数据2.数据不敢用 数据处理逻辑不清楚,业务找到了订单数据在XX表中,但是对订单状态的枚举值含义不清楚,或者不知道营收的数据计算口径,不敢用,只能咨询表的负责人。 资产分级分类,提供简单易用的资产“地图”导航,快速找到目标表 强大的搜索功能,可以基于关键词、字段、指标搜索目标表 元数据信息完善,辅助决策,确定表是不是所需要用的,能不能用,以及逻辑说明 2.管数据 代办事项:数据资产管理要建立从上到下的管理和考核机制,否则资产创建时,为了图快不进行元数据信息维护,就必然会导致资产复用度低。资产大盘服务于资产管理者,提供不同维度的资产健康度评价指标。

    1.3K30编辑于 2022-07-01
  • 来自专栏大数据&分布式

    数据资产管理体系与标准

    数据资产管理需要充分融合业务、技术和管理,以确保数据资产保值增值。 《数据资产管理实践白皮书》 数据资产管理是一种数据管理方法,确保数据资产在整个组织中得到高效、有序和安全合规的使用,能够更好的发现数据价值。 M0层:实际数据层,数据库中存储的具体信息、对象 M1层:模型层,对应元模型实例,即元数据,对M0层数据的结构化描述,例如具体的表定义 M2层:元模型,如CWM模型,定义了M1层模型的结构和语义,例如定义元数据的类别 :库、表、字段 M3层:元元模型,也是MOF自身所在的层次,定义了M2层元模型的结构和语义。 WHY:组件1、组件2,定义数据治理的愿景,可量化目标等 WHAT:组件3、组件4、组件5、组件6,确定数据规则、决策权、职责、控制权,确保数据合规使用 WHO:组件7、组件8、组件9 确定相关的组织架构与各利益相关者

    1.8K106编辑于 2024-05-17
  • 使用YashanDB实现企业数据资产管理平台

    在现代企业中,如何高效管理海量的企业数据资产已成为一个亟待解决的问题。尤其在数据量持续增长、业务需求不断变化的背景下,企业面临着查询速度、数据一致性和安全性的挑战。 YashanDB作为一款高性能、高可用性且支持多种部署模式的数据库系统,为企业构建数据资产管理平台提供了有力的技术基础。 2. 数据的有效存储与访问YashanDB采用分层存储管理策略,通过段区页三级空间管理架构,确保数据存储高效且灵活。这一方法使得数据库中的每一个对象,无论是表还是索引,都能够在内存和磁盘之间高效切换。 总结与建议为了充分利用YashanDB提供的优势,企业在构建数据资产管理平台时应考虑以下几点:选择适合的部署模式,依据数据规模和业务需求选择单机、分布式或共享集群部署。 结论YashanDB为企业数据资产管理平台提供了强大的技术支持,通过对架构、存储、事务及安全性的全方位考量,企业能够高效管理数据资产,提升业务运作效率,确保数据安全及合规。

    21110编辑于 2025-09-19
  • 来自专栏数据中心正经研究院

    高成本的数据中心资产管理

    高成本的数据中心资产管理,是指依靠传统人工运维的方法,主要针对机柜、U位资产、网络设备等维护管理,监控资产的运行状况,实现账实相符。 现在,我们假设一个典型的中等大小的数据中心,有200个机柜,每个机柜放20个U位资产,U位资产总量是4000个。 初始数据收集——假设每个资产数据,包括制造商、型号、序列号、资产名字和位置都是可获取的状态,传统的人工收集成本大概是每个资产15美金。 Digital Realty Trust的报告指出,74%的数据中心管理者无法在几分钟内定位特定的服务器,20%的管理者甚至无法在一天内找到特定的资产。 ,真正提高资产运维效率和数据中心的ROI,实现用户数字化、智能化管控资产的梦想。

    1K50发布于 2019-11-08
  • 来自专栏大数据成神之路

    数据资产管理在腾讯游戏的实践

    数据标准缺乏结构化管理,集成困难 数据分散,没有形成完整的成本管理 数据价值的评估较为困难 数据安全与合规保障的问题 历经6年在各阶段解决的关键问题,构建游戏大数据资产管理体系: ? 通过组织、流程、制度、技术等组合手段,确保数据交付的质量、效率、成本和安全,助力业务数据价值提升。 游戏大数据资产管理体系 ? 资产运营-成本管理 ? 资产运营-数据生命周期管理数据生命周期管理会出现: 数据无序增长 成本快速上升 计算效率低下 数据维护困难 ? 为数据使用价值, ?为数据重要等级数据生命周期管理策略随在线度的变化而变化。 资产运营-数据安全管理 游戏数据资产安全管理 “四大” 关键举措: ? ? 数据资产管理实践步骤 总结: ?

    2K50发布于 2019-11-07
  • 来自专栏python与大数据分析

    数据资产管理在腾讯游戏的实践

    腾讯游戏属于典型的大数据场景,每天260T+的数据,100P+总存储量,不过我比较好奇的是腾讯游戏是否也同样分为平台数据和游戏个性数据,几百款游戏个性数据是否存在信息孤岛效应,游戏是如何做分析的,共性的分析成分多还是个性成分更多 腾讯等BAT公司都是自然而然的数字企业,自然不存在数字化转型的说法,腾讯游戏数据资产管理不一样的地方是数据质量包含了游戏的设备、负载信息,当然这也是游戏重要的资产;其次是在资产运营方面强调成本管理数据生命周期管理数据安全管理 ;最后再数据价值评估的地方提供了很多量化标准和公式,把运营效率的提升也纳入数据资产管理中,非常值得借鉴。

    1.4K30编辑于 2022-03-11
  • 来自专栏SAP最佳业务实践

    SAP最佳业务实践:FI–资产会计(162)-2资产数据

    选择资产分类和公司代码,修改相似资产的数量,默认为1,如果修改为2则系统会自动创建两个资产数据。如果资产分类中设定的编码范围为内部编码,系统将自动为该资产分配流水码,否则需要手工指定资产编号。 2. 数量:如果使用一个资产数据管理多个相同的资产,可以使用该字段,大部分情况下不需要设定数量。 资本化日期:即资产达到可使用状态,在资产负债表中将其认定为资产并开始计提折旧的日期。 资产子编号是系统分配的序列号(从 1 开始),附加在主资产编号上。管理子编号这样的资产组件的原因有以下几个: 对于每个子编号而言,资产组件值的开发是独立的。 资产可按技术行划分(例如工厂维护中设备链接)。 投资支持可用负的子编号来表示。 如果为了能够分别监控折旧和帐面值而必须分别管理后续购置,则必须管理不相关子编号的购置。

    2.9K61发布于 2018-03-29
  • 来自专栏python3

    Python IT资产管理(下)

    1616551 在这篇博客中,我们针对上篇博客中的重点部分做阐述,如何多钟方式实现第5步: 5、通过post方式传送搜集的信息到服务器端 一、Python序列化 1、序列化是什么 序列化:内存里面有一个数据结构 在这个情况下, 一个捕获了当前进度的数据结构需要在你退出的时候保存到磁盘上,接着在你重新启动的时候从磁盘上加载进来。这个数据只会被创建它的程序使用,不会发送到网 络上,也不会被其它程序读取。 因此,互操作的问题被限制在保证新版本的程序能够读取以前版本的程序创建的数据。 In [1]: import json In [2]: d = {'a':'a','b':235,'c':('c1','c2'),'d':'True','e':'None'} In [3]: d Out = '%.2f' % Memory_G         memory = Memory_G2 + 'G'         return memory   #####[disk message]#####

    92520发布于 2020-01-06
  • 来自专栏腾讯技术工程官方号的专栏

    数据资产管理在腾讯游戏的实践

    | 导语 数据资产的概念已经成为行业共识。然而现实中,对数据资产管理和应用尚处于摸索阶段,企业数据资产管理面临价值评估难、数据标准混乱、数据质量不高、数据安全威胁等诸多挑战。 腾讯游戏数据资产管理体系如上图所示自下而上主要分为元数据管理资产管理四大核心组成、资产管理平台以及数据增值服务等四个层次。 最底层是元数据管理。元数据在整个资产管理体系中是最核心的一个部件。 2数据运营,其覆盖了整个数据生命周期管理,包含数据的安全、质量、成本等部分,我们也采用了DevOps和AIOps这些业界先进理念贯穿整个数据运营过程,参与这个职能的角色我们也叫DataOps。 2、元数据到底存储了什么数据?举个例子,游戏行业是有很多指标去衡量它的运营状态。 2、“一致性”,相当于数据定义的标准化,意思是怎么让内部所有人按照指定规则去理解数据,且涵盖各个技术平台、业务线系统。

    3.6K21发布于 2019-05-16
领券