- 综合排序
- 最热优先
- 最新优先
数据标准落地难？4个步骤帮你解决！
因为如果数据标准仅仅被看作是一份躺在文档库里的“定义清单”，那它的确无法产生任何实际价值。但我可以很负责任地告诉你，数据标准是数据能被用起来的基石。 没有它，你后面所有的数据平台、数据湖、数据中台、数据分析，都不稳固，一推就倒。今天，我就用最直白的方式，分享一下我对数据标准的思考和实践经验。希望能给大家带来一些实实在在的启发。 这本质上不是技术活动，而是沟通和管理活动，目的是为了减少内耗，让数据能够真正地驱动业务。二、数据标准到底是什么？那么，一份能真正指导工作的数据标准，应该长什么样？ 4.标准的代码值与范围对于那些下拉框里的选项，必须明确所有可能的值。比如，“订单状态”只能是“01-待支付”、“02-已发货”、“03-已完成”。这样就不会出现“已完成”和“完结”并存的混乱场面。 业务规则：必须从标准的行业分类代码中选择，不支持自由文本输入。数据格式：字符串，固定长度为4位（采用国标代码）。标准代码示例：‘C381’代表“电机制造”，‘I6510’代表“软件开发”。
29210编辑于 2025-12-08- 来自专栏Python七号
标准库 collections 中 4 个常用的数据结构
collections 库是标准库的一部分，里面有很多数据结构，在列表、字典、元组的基础上做了很多修改和提升。 今天就来说说最有用的几个。 1、deque 它实现了两端都可以操作的队列，相当于双端队列，与可以指定最多存储多少个元素，与 Python 的基本数据类型列表很相似。 ) p2 = Point(x=3, y=4, z=5) p3 = Point. defaultdict defaultdict 和 dict 差不多，但是可以提供 dict 的 values 的默认数据类型，比如： from collections import defaultdict 最后 本文分享了 4 个 collections 库中常用的几个数据结果，如果对你有所帮助，还请点赞关注支持：
46430发布于 2021-10-20 - 来自专栏一个爱吃西瓜的程序员
Web前端基础【4】--HTTP标准
Accept-Encoding X-Powered-By:HPHP X-Ua-Compatible:IE=Edge,chrome=1 响应头中包含以下内容： 1：HTTP/1.1表示使用HTTP1.1协议标准 目前Cookie已经成为标准，所有的主流浏览器如IE、Netscape、Firefox、Opera等都支持Cookie。 由于HTTP是一种无状态的协议，服务器单从网络连接上无从知道客户身份。 4 PUT 从客户端向服务器传送的数据取代指定的文档的内容。 5 DELETE 请求服务器删除指定的页面。 6 CONNECT HTTP/1.1协议中预留给能够将连接改为管道方式的代理服务器。 2：POST 方式：向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。 GET和POST的区别： 1：在客户端，get方式通过url提交数据，数据在url中可以看见；post方式，数据放置在实体区提交。
1.1K70发布于 2018-04-03 - 来自专栏烂笔头
Python标准库笔记(4) — collections模块
from collections import OrderedDict d = {'banana': 3, 'apple': 4, 'pear': 1, 'orange': 2} order_d = # ----输出结果----- key: pear value: 1 key: orange value: 2 key: banana value: 3 key: apple value: 4 'b': 2}) # 从一个字典对象创建 print Counter(a=4, b=2) # 从一组键值对创建 # ----输出结果----- Counter({'c': 3, 'a': 2, ' b': 2, 'd': 1}) Counter({'a': 2, 'c': 1}) Counter({'a': 4, 'b': 2}) Counter({'a': 4, 'b': 2}) 获取元素的计数时和 Counter() a&b: Counter({'a': 1, 'b': 1}) a|b: Counter({'a': 3, 'b': 1}) 5.deque deque就是双端队列，是一种具有队列和栈的性质的数据结构
1.1K70发布于 2018-03-20 - 来自专栏yeedomliu
《刻意练习》第4章 黄金标准
从音乐领域开始 如果某人谨慎勤奋地遵循这些方法，那么，他几乎一定能成为该行业或领域的专家。这些行业或领域有几个共同的特点 对于绩效的测量，总是存在客观的方面，比如象棋比赛或者一对一比拼中的输赢， 这些行业或领域往往具有足够的竞争性，以至于从业人员有强烈的动机来训练和提高 这些行业或领域通常都是已经形成规模的，相关的技能已得到数十年甚至数世纪的培养 这些行业或领域中，有一些从业人员还担任导师和教练，随着时间的推移，他们已经发展出日渐复杂的一整套训练方法，使得该行业或领域的技能水平稳定提高 最杰出的人，练习时间
1.2K10发布于 2019-09-29 - 来自专栏chimchim要努力变强啊
数据治理之数据标准
目录 一、背景 1、数据难以共享 2、数据定义不一致导致异常 3、沟通成本高 4、数据来源不明 二、什么是数据标准？ 三、为什么要做数据标准？ 3、沟通成本高 数据理解不一致，不同人员对数据的理解不一致，导致在数据使用时浪费很多时间来进行沟通。 4、数据来源不明 数据来源不一致，数据存在多个来源，在使用数据时，不清楚应该取哪个系统的数据。 二、什么是数据标准？ 四、目标 1.制定数据标准规范 2.统一管理数据标准 3.形成数据资产，支持跨业务线共享 4.规范开发流程并指导业务系统建设 五、实施步骤 1.标准规划 2.标准编制 3.标准评审发布 4.标准落地执行 3.表名命名规范 4.任务名命名规范 5.数据清洗规范 6.数据类型规范 7.空值处理规范 8.时间周期规范 9.建模规范 10.同步策略规范 11.数据生命周期规范 12.UI样式规范 13.脚本开发规范
1.1K20编辑于 2022-11-13 - 来自专栏加密解密
DES数据加密标准
中文全称为：数据加密标准（Data Encryption Standard，缩写DES）。 1.2、DES加密/解密的历史与安全性 DES最初出现在1970年代早期。 NBS（国家标准局，现在的NIST美国国家标准技术研究所）开始征集用于加密政府内非机密敏感信息的加密标准，然后DES在1976年11月被确定为联邦标准。 其中PKCS7标准是主流加密算法都遵循的数据填充算法。DES标准规定的区块长度为固定值64Bit，PKCS5为DES专用，但是从长远考虑推荐兼容性更好的PKCS7。 区块长度：DES标准规定区块长度只有一个值，固定为64Bit，对应的字节为8位； 密钥KEY：该字段不能公开传输，用于加密和解密数据； 初始化向量IV：该字段可以公开，用于将加密随机化。 本教程引自《试试吧 - 领先的在线工具平台》，主打原创，全部免费，打开浏览器搜：试试吧，全网排名第一的就是本站，快来试试吧：DES数据加密标准 - 在线工具。
2.6K00编辑于 2023-03-17 - 来自专栏萝卜大杂烩
PKW: asyncio 标准库简介（第 4 期）
这是 Python Knowledge Weekly（PKW）第 4 期。 ”事情很少有根本做不成的；其所以做不成，与其说是条件不够，不如说是由于决心不够。 and it is often for want of will, rather than of means, that man fails to succeed.“ 本周分享知识 一、asyncio 标准库简介 二、使用异步多线程来爬取小说 asyncio 标准库简介 asyncio 是干什么的？ <_MainThread(MainThread, started 30864)> 4here 5Hello! <_MainThread(MainThread, started 28288)> 3SAY HELLO 4here 5Hello!
74520发布于 2019-07-17 什么是数据标准管理？怎么进行数据标准管理？
没有术语标准，后面很多争论其实都没有基础。2、数据元标准数据元是最基础的数据描述单元。一个完整的数据元标准，至少要说清楚名称、定义、数据类型等内容。 数据模型管理和变更控制：规定版本管理、变更记录、审批流程等。4、主数据标准主数据是企业跨系统共享的核心数据，比如客户、员工、机构、产品、供应商等。 能复用的就复用，能对齐外部标准的就尽量对齐，确实不满足业务需求的再新建。这样落地阻力最小，执行成本也更低。4、标准制定在充分调研基础上，对不同类别的数据标准逐项定义清楚。 五、比制定更重要的，是落地数据标准的落地是将发布的标准应用于信息建设和改造，消除数据不一致的过程，分为数据标准宣贯、数据标准实施、数据标准评价、数据标准改进四个关键阶段：1、数据标准宣贯要让业务、IT、 4、数据标准改进业务在变，系统在变，监管在变，标准当然也要变。所以必须建立持续维护机制，包括变更申请、影响评估、审批发布、版本管理、执行跟踪等。没有改进机制，标准很快就会变成历史资料。
7000编辑于 2026-04-07- 来自专栏函数式编程语言及工具
Scalaz（4）－ typeclass：标准类型－Equal,Order,Show,Enum
那和标准的 == 符号什么区别呢？ typeclass提供的是类型安全（type safe）的等比，在编译时由compiler发现错误，如下面的例子： 1 cala> 2 == 2.0 2 res3: Boolean = true 3 4 Scalaz方法注入标准写法：放在scalaz/syntax/EqualSyntax.scala里： 1 /** Wraps a value `self` and provides methods related =这两个标准操作符。 我们应该尽量使用lt,lte,gt,gte来确保类型安全（让compiler来发现错误）： 1 scala> 1 < 1.0 2 res4: Boolean = false 3 4 scala
1.7K50发布于 2018-01-05 - 来自专栏IT云清
接口数据返回---标准格式
开发中，如果前端和后端，在没有统一返回数据格式，我们来看一下会发生什么： 后台开发人员A，在接口返回时，习惯返回一个返回码code=0000,然后返回数据； 后台开发人员B，在接口返回时，习惯直接返回一个 boolean类型的success=true，然后返回数据； 后台开发人员C，在接口返回时，习惯在接口失败时返回码为code=0000。 所以，在项目开发中，初期搭建框架时，定好通用的接口数据返回格式，定义好全局的状态码，是非常有必要的。一个项目，甚至整个公司，遵循同一套接口返回格式规范，这样可以极大的提高进度，降低沟通成本。 下面的两个类，一个是数据返回格式，是自定义的，很简单，但是可通用，这里分享一下，返回给前端时，根据情况，直接调用此类中的方法做返回值；另一个是状态码，这个可以根据项目实际情况，自己做修改。 接口数据返回格式： package response; import domain.ReturnCode; /** * Created by lightClouds917 * Date 2017
4.1K30发布于 2019-01-22 - 来自专栏安恒信息
大数据安全第4期：了解大数据安全标准体系应当先从这里开始
1、规范大数据安全相关术语和框架 2、为大数据平台安全建设、安全运维提供标准支撑 3、为数据生命周期管理各个环节提供安全管理标准 4、为大数据服务安全管理提供安全标准支撑 5、为行业大数据应用的安全和健康发展提供标准支撑 图：大数据安全标准体系框架 （一）基础类标准 整个大数据安全标准体系提供包括概述、术语、参考架构等基础标准，明确大数据生态中各类安全角色及相关的安全活动或功能定义，为其它类别标准的制定奠定基础。 （三）数据安全类标准 该类标准主要包括个人信息、重要数据、数据跨境安全等安全管理与技术标准，覆盖数据生命周期的数据安全，包括分类分级、去标识化、数据跨境、风险评估等内容。 （四）服务安全类标准 该类标准主要是针对开展大数据服务过程中的活动、角色与职责、系统和应用服务等要素提出相应的服务安全类标准，包括安全要求、实施指南及评估方法；针对数据交易、开放共享等应用场景，提出交易服务安全类标准 了解了这个标准分类 就能明白了整个大数据标准的整体体系结构 当遇到一个具体标准的时候 我们就可以清楚的了解该标准的归属 以保障我们能把标准用到合理的实际场景中
1.4K100发布于 2018-04-10 - 来自专栏全栈程序员必看
mpeg4标准包含{xviddivx，h264avc}
“MPEG-4由一系列的子标准组成，被称为部….. ………………………. ，但由于AVC属于MPEG-4 Part 10，在技术特性上比属于MPEG-4 Part2的XviD要先进。 另外从技术上讲，它和ITU-T H.264标准是一致的，故全称为”MPEG-4 AVC/H.264″。 ………………………” 常见的Xvid属于 MPEG-4 第2部，H.264属于 MPEG-4 第10部。 H.264同时隶属于MPEG标准和VCEG标准，VCEG标准的是：H.261、H.262、H.263、H.263v2、H.264 这几个。
88230编辑于 2022-10-02 - 来自专栏百味科研芝士
4分+缺氧和免疫相关预后模型标准范文
方法：本文分析TCGA数据库的肝细胞癌患者的转录组数据，使用ssGSEAhe t-SNE算法评估免疫和低氧状态。 数据的获取和整理 本文从TCGA数据库中检索了肝细胞癌（HCC）的转录组数据，包括374位患者和50位健康人群的样本。 2. 预后特征与临床表型的关系 TCGA HCC队列共有216例病例记录了完整的临床表型数据。风险打分与肿瘤分级（图4A）和性别（图4B）显著相关。 ICGC HCC队列共有203例病例记录了完整的临床表型数据。风险打分与临床分期、侵犯门静脉和侵犯静脉显著相关（图4C-E）。 ? CD8+T细胞（图6D），CD4+T细胞（图6E）和B细胞（图6F）也与风险评分有关。
1.6K41发布于 2021-01-06 - 来自专栏短信接收服务
爬虫系列：数据标准化
上一期我们介绍了使用 Python 数据清洗的相关方法，本篇文章我们介绍数据标准化的相关方法。 “数据标准化过程要确保清洗后的数据在语言学上是等价的，比如电话号码虽然显示成”134-1234-5678“和”134-12345678“两种形式，但是实际号码是一样的。 还是用上一期的 n-gram 示例，让我们在上面增加一些数据标准化的特征。 上期文章内容的明显问题，就是输出结果中包含太多重复的 2-gram 序列。 掌握 2-gram 序列的频率，而不只是知道某个序列是否存在，这有助于对比不同的数据清洗和数据标准化算法的效果。 除了这些，还需要在考虑一下，自己计划为数据标准化的进一步深入再投入多少计算力。
63150编辑于 2022-01-12 - 来自专栏博文视点Broadview
透过数据标准，看【数据治理】实施
今天我们聚焦在数据标准管理里面，通过讨论数据标准的管理，来看我们怎么进行数据治理。 数据标准 企业如何通过寻找事实来建立数据标准 不管用什么方法，数据标准是必须要去建立的。 我们首先了解一下企业数据标准建立的几种模式。 第一种方式，通过数据字典去核查。 第二种则是溯源。 做数据标准不是从零开始的。我们必须知道原来存在什么，这会产生大量的溯源工作。 我们现在做数据治理及数据标准的时候，这将成为一个没办法逾越的过程。 例子：如何知道不同表中的字段是“一回事”（符合业务及技术标准规范） 你怎么定义这个标准？你的数据映射标准是怎么样去建立的？定义这个标准的原则又是什么？我们怎么确保不同表中的字段是一回事儿？ ● 原完整内容包含了以下几个部分 1，数据治理的问题以及误区 2，通过一个数据治理结构更深入地剖析一下我们在整个数据治理里面的一些瓶颈和问题究竟在哪里 3，数据治理关键环节——数据标准 4，谈谈如何通过数据探查来驱动数据治理
37620编辑于 2022-08-26 - 来自专栏科学Sciences
数据资源常识(3.6)数据标准(Data Standards)
数据资源目录(Data Resources Directory) 3.6 数据标准(Data Standards) 3.6 数据标准(Data Standards) 通过确保清楚地理解数据的表示方式以及所接收的数据采用预期的格式 ，标准使创建、共享和集成数据变得更加容易。 数据标准(Data Standards)是描述和记录数据的规则。为了共享、交换和理解数据，我们必须对格式及其含义进行标准化。 3.6.1 在哪里可以找到数据标准？ 收集新数据时，应始终在适用的地方使用现有的数据标准。根据OMB通告A-119，FGDC仅在不存在等效的自愿共识标准时才开发地理空间数据标准。 FGDC国家数据标准出版物 FGDC NationalData Standards Publications FGDC标准工作组 FGDC Standards Working Group 美国综合生物分类信息系统
1.6K31发布于 2020-04-21 - 来自专栏sktj
python 标准库 数据结构
deque.extend deque.extendleft deque.appendleft deque.pop deque.popleft image.png 旋转，ratate image.png 4、 OrderedDict 按内容增加的顺序存储 image.png ---- 6、import array array.array('c',"sdfdsfsfsdfs") array.array('i',range(4) heapq.heappush(h, i) return [heapq.heappop(h) for i in range(len(h))] method 1: sort to list s = [3, 5, 1, 2, 4, 6, 0, 1] print(heapsort(s)) ''' [0, 1, 1, 2, 3, 4, 5, 6] ''' method 2: use key to find price_min 6, 2, 10, 1] heapilize_list(p) print(p) ''' [1, 4, 2, 10, 6] ''' 8、 bisect有序列表 bisect.bisect(
45020编辑于 2022-01-09 - 来自专栏仙士可博客
程序返回数据的标准格式
当你需要写一个函数来验证,处理数据时,返回数据是必须的 通常来讲,写函数是为了重用代码,使这个函数可以通用在很多地方,比如验证表单信息,验证会员身份,验证余额,处理会员数据,查询数据 这个时候,就得返回验证失败或者成功 ,验证失败也有验证失败的提示信息,返回数据也有可能有错误信息,也有返回成功的数据,所以我们应该规范一个返回数据的类型格式 简洁来说,一个函数,验证失败应该返回false,并且返回失败信息,验证成功应该返回 true,并且返回数据信息 在很多代码里面,都是返回以下的一种数组格式 $result['status']=true;//false $result['message']='出错信息,验证失败信息'; $result['data']=$data;//返回数据 上面的数组基本是通用格式,并且用处广泛,可以用于接口,自己程序的各种验证函数,数据处理函数,全部通用,希望大家养成一个编码的好习惯.
1.5K30发布于 2019-12-18 - 来自专栏Hadoop数据仓库
建立标准数据对照表
具体方案如下： 建立标准码表用以辅助数据转换处理 建立与标准值转化有关的函数或子程序 建立非标准值与标准值对照的映像表，或者别名与标准名的对照表。 下面的问题是确定标准值的来源。 从业务的角度看，HR系统的数据相对来说是最准确的，因为员工或组织机构的变化，最先反应到该系统的数据更新中。以HR系统中的员工表数据为标准是比较合适的选择。 有了标准值后，还要建立一个映像表，把其它系统的员工数据和标准值对应起来。 DW条目名称 DW标准值 业务系统 数据来源 源值 员工编号 101 HR HR库.表名.列名 101 员工编号 101 OA OA库.表名.列名 102 员工编号 101 考勤 考勤库.表名.列名 103 员工编号 101 绩效 绩效库.表名.列名 104 这张表建立在数据仓库的模式中，人员数据从各个系统抽取来以后，与标准值映像表关联，从而形成统一的标准数据。
1.5K70发布于 2018-01-03
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号