- 综合排序
- 最热优先
- 最新优先
- 来自专栏Lansonli技术博客
数据中台建设（六）：数据体系建设
数据体系建设图片数据中台是企业数据汇集地，但并不是简单的数据堆积，而是进行分层建模，数据体系建设最终呈现一套完整、规范、准确的数据。数据体系建设就是大数据中数据仓库建设。 以上数据体系建设过程中数据的读取也有严格的规范要求，按照规范，贴源数据层直接从业务系统或日志系统中获取数据。 图片那么在企业数据中台构建中，各个业务部门需要用到的这些共性数据（描述对象的全面数据）就可以通过标签数据层来满足，通过构建标签数据层可以做到企业精细化运营，例如：精准营销、精准推荐、用户画像、用户维护（ 二、如何构建数据标签层1、确定构建标签对象进行标签建设首先要清楚对哪些对象建设标签，也就是明确对象，例如：对用户、对产品、订单等。 明确了企业中对哪些对象进行构建标签就可以进行标签体系建设。
2.1K81编辑于 2022-07-22 - 来自专栏Lansonli技术博客
数据中台建设（二）：数据中台简单介绍
之所以现在推崇数据中台的建设原因是数据中台确实给小前台提供了强有力的数据支持，实现了对需求快速响应，另一个重要的原因是数据中台已经在阿里体现了巨大的商业价值和应用价值。 在企业中构建数据中台与业务中台没有先后之分，根据企业实际情况进行规划建设。 例如： 所以数据时代带来的挑战不仅仅是数据量的爆发式增长，更重要的是如何管理好、治理好、利用好这些数据，显然传统的大数据平台建设方法论不能满足以上需求，数据中台应运而生 五、构建数据中台价值 构建数据中台价值如下 5.2、打破数据应用屏障 在传统数据建设中，数据无法被业务使用，其中一个重要的原因是业务人员不够懂数据，导致数据应用到业务变得困难，数据分析人员不管业务，只是按部就班产出报表结果，以上情况导致数据分析结果不能很好地反哺到业务中 5.4、支持跨主题域访问数据 企业早期建设的应用数据层ADS(传统数据仓库分为ODS/DW/ADS)更多是为了某个主题域所服务，例如：营销域、人力资源域、风控域。
11.1K68编辑于 2022-05-02 - 来自专栏Lansonli技术博客
数据中台建设（一）：数据中台出现的背景
数据中台出现的背景一、数据建设中出现的问题在企业数据建设过程中，都离不开大数据平台建设，大数据平台建设涉及数据采集、数据存储、数据仓库构建、数据处理分析、数据挖掘机数据可视化等等一系列流程。 数据的取数效率低下在数据建设过程中有一些指标可能在构建数据应用体系下没有及时的统计在数据集市中，就造成了运营、数据分析这些非技术人员需要给技术人员提临时性的数据分析需求，这个过程中来来回回沟通加上调试， 二、为什么要构建数据中台以上我们分析了数据建设中出现的各种问题，那么为什么出现这些问题呢？ 此外，数据安全也非常重要，对于数据建设中成千上百张表我们需要知道哪些表被哪些人访问了，哪些人有权限访问敏感数据表，访问哪些数据，对数据安全管理的忽视往往会给企业带来很大的风险。 解决以上三个方面问题关键就是需要一套机制，通过这套机制整合企业数据，规范、快速的形成数据服务能力，为企业经营决策、精细化运营提供支撑，这套机制就是数据中台。三、思维导图总结图片
2K93编辑于 2022-07-15 - 来自专栏Lansonli技术博客
数据中台建设（一）：数据中台出现的背景
一、数据建设中出现的问题 在企业数据建设过程中，都离不开大数据平台建设，大数据平台建设涉及数据采集、数据存储、数据仓库构建、数据处理分析、数据挖掘机数据可视化等等一系列流程。 数据的取数效率低下 在数据建设过程中有一些指标可能在构建数据应用体系下没有及时的统计在数据集市中，就造成了运营、数据分析这些非技术人员需要给技术人员提临时性的数据分析需求，这个过程中来来回回沟通加上调试 二、为什么要构建数据中台 以上我们分析了数据建设中出现的各种问题，那么为什么出现这些问题呢？ 此外，数据安全也非常重要，对于数据建设中成千上百张表我们需要知道哪些表被哪些人访问了，哪些人有权限访问敏感数据表，访问哪些数据，对数据安全管理的忽视往往会给企业带来很大的风险。 解决以上三个方面问题关键就是需要一套机制，通过这套机制整合企业数据，规范、快速的形成数据服务能力，为企业经营决策、精细化运营提供支撑，这套机制就是数据中台。 三、思维导图总结
2K53编辑于 2022-04-29 - 来自专栏EAWorld
数据中台建设从数据中台的认知开始
企业数字化转型，数据中台确实是数字化转型的试验田，所以数据中台掀起了一股热潮；但是由于对数据中台建设的认知不够，强调数字化转型，但是忽略了数据中台的价值，以及数字资产的管理、运用等等。 导致数据中台最终是一个技术平台的呈现；价值就无法最大化。本文将从数据中台的价值体现、必备的核心能力来对数据中台建设做一个简短的认知。 数据中台的价值体现 ? 无论是由科技部门建设数据中台，还是运营部门建设数据中台，都必须统一数据中台价值观：数据是一种资产。 数据中台必备的核心能力 ? 现实中，由于对数据中台的认知不够全面，导致数据中台的落地困难重重，目前数据中台的建设往往是技术组件的堆积，是传统数据仓库的改版。 数据中台建设的核心是数据，数据中台管理的核心也是数据，数据中台应用的核心还是数据。数据对于金融企业如此重要，那么数据中台建设过程中，我们依靠什么样的数据体系来构建我们的数据中台？
2.4K40发布于 2020-11-02 - 来自专栏Lansonli技术博客
数据中台建设（八）：数据服务体系建设
数据服务体系建设图片 数据服务是数据中台能力的出口，是支撑数据应用的重要支撑。 数据资产只要形成数据服务被企业使用，才能体现价值，传统做法是根据某个应用产品的需求，独立构建非常多的数据接口与应用产品对接，这会造成大量接口的重复建设，且修改、运维、监控的成本都很大。 数据服务体系可以将数据内容以标准API方式输出以服务不同业务场景，其中常见的数据服务有如下三种：查询分析服务、推荐服务、圈人服务。 1、查询分析服务：查询分析服务是指输入特定的查询条件，返回该条件下的数据，以API形式供上层应用调用。这里也包含大数据分析能力分析结构的查询，帮助企业数据化运营，分析决策。 3、圈人服务：各行各业都会设计广告营销场景，而如何找到对的人推送广告就撑了大数据场景需要解决的问题，圈人服务就是从全量用户数据中基于标签组合筛选符合指定特征条件的人群，并以API形式对接上层应用系统，帮助服务使用者实现营销广告精准触达
1.6K72编辑于 2022-08-03 - 来自专栏Lansonli技术博客
数据中台建设（七）：数据资产管理
例如：对于银行系统中的客户，核心系统人员认为在银行开户存钱的人就是客户，信贷系统人员认为在银行中贷款的人就是客户，理财系统的人认为理财的人就是客户等。 例如：人员信息数据中的统计时间、统计周期、统计区域范围等。 技术元数据：与存储、访问等技术底层相关描述性数据。例如：人员信息数据存储在的位置、访问的URL地址，数据存储库，对应的表名，字段有哪些等。 由于IT系统建设的历史局限性，主数据分布在不同的应用系统，而不同的应用系统之间主数据的定义、属性、编码存在众多不一致，极大影响了系统和数据之间的融合与集成，因此需要进行主数据管理建设，统一规范企业级主数据 五、数据安全管理 企业有些数据非常重要且敏感，这些数据大部分集中在应用系统中，例如银行系统中客户的联络信息、资产信息等，如果不慎泄露，不仅给客户带来损失，也会给银行带来不利的声誉影响，因此数据安全在数据管理和治理过程中是相当重要的 例如数据仓库DM层分析人员信息中缺失数据，可以通过数据交换系统反哺到业务系统中，避免重复劳动。
1.5K61编辑于 2022-05-10 - 来自专栏Lansonli技术博客
数据中台建设（十）：数据安全管理
数据安全管理 在数据中台中所说的数据安全管理，侧重于企业内部的数据安全管理，是狭义的数据安全管理，重点放在大数据平台的安全管理技术手段上。 在大数据时代，数据的整个生命周期包含：数据产生、数据存储、数据传输、数据使用、数据共享、数据销毁这些环节，每个环节基于不同类型的数据，面向不同的人员都有不同的数据安全风险。 在数据中台中数据安全可以借助一些技术手段实现。 1、统一的安全认证和权限管理 在大数据中有很多安全管理技术，例如：Kerberos、Ranger、Hive、ClickHouse也都有自带的数据权限管理，在数据汇集、数据开发、数据体系中我们可以借助这些技术实现数据安全管理 4、数据脱敏 在数据传输、共享、展示时为了防止用户隐私数据、商业机密等信息泄漏，可以对数据使用大数据主键或者自建平台对数据进行脱敏处理。
2.5K41编辑于 2022-05-10 - 来自专栏肉眼品世界
数据中台建设方法论
数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。 这些服务跟企业的业务有较强的关联性，是这个企业独有的且能复用的，它是企业业务和数据的沉淀，其不仅能降低重复建设、减少烟囱式协作的成本，也是差异化竞争优势所在。 下面这份PPT材料概述了数据中台建设的背景、挑战及误区，重点介绍可数据中台落地建设的方法论，供企业规划建设数据治中台时参考和借鉴。
50720编辑于 2022-04-19 - 来自专栏大数据解决方案
大厂数据中台建设（建议收藏）
本文是围绕着快手的数据服务化中台进行介绍。 系统架构 大数据服务化业务架构如下所示，Data Lake 数据湖中存储原始数据，经过数据开发之后，形成按主题域组织的数据资产。 关键技术三：高效数据加速 前面提及的数据资产，通常是存在于低速的存储引擎中，无法支撑线上业务高访问流量。因此需要以系统化的方式进行数据加速。 2017年演化至今，已经支持多类应用场景，涵盖直播、短视频、电商、商业化等在线业务，生产者中台等准在线业务，运营系统等偏内部数据系统等，目前平台在线业务总 QPS 达到 1000W，平均延迟在毫秒级。 大数据服务平台的能力建设会朝着统一的 OneService 体系前进。
1.4K10编辑于 2022-04-07 - 来自专栏用户6296428的专栏
有赞数据中台建设实践
各个领域涌现出很多中台产品, 如业务中台, 搜索中台, 数据中台等. 其中数据中台这个词汇越来越多的出现在视野中, 从百度指数中可以看到这一趋势. ? 本文, 介绍有赞的数据中台产生的背景和建设思路. 数据中台 按照产生顺序, 数据中台主要包括: 数据技术中台 数据资产中台 3.1 数据技术中台构建 所以, 技术上的复杂性, 带来了开发成本高的问题. 但是数据中台远不止技术设施,更主要的是数据资产的建设和组织, 因为对业务方而言,业务方更关注的是有哪儿些数据自产可以使用,而不是通过什么底层技术实现. ? 后面有赞数据中台的建设将主要集中在成本,数据资产管理&复用,实时数仓等方面发力, 帮助我们的商家和业务方挖掘更多数据价值.
1.2K40发布于 2020-08-25 - 来自专栏架构狂人
谈谈中台建设
它们将公共能力和核心能力分离建设，解决了重复投入和建设的公共模块问题。 然而，这符合阿里所提出的中台概念吗？在回答这个问题之前，我们可以先了解一下阿里中台的具体定义。 由于传统企业的商业模式和IT系统建设发展历程与互联网企业存在差异，因此传统企业在中台建设策略上与阿里中台战略可能存在一定差异，需要共享的内容也各有不同。 业务中台的建设可采用领域驱动设计方法，通过领域建模，将可复用的公共能力从各个单体剥离，沉淀并组合，采用微服务架构模式，建设成为可共享的通用能力中台。 建立以业务需求为驱动的数据体系，深度挖掘数据的价值，支持业务和商业模式的创新。 相应地，数据中台的建设可以分为三个步骤： 第一步是实现各个中台业务数据的汇集，解决数据孤岛和初级数据共享的问题。 总结 今天我们分享了中台建设的一些思路。企业的中台转型不只是中台的工作，我们需要整体考虑前台、中台和后台的协同、共享、联通和融合。希望对你有所帮助。
86441编辑于 2023-08-16 - 来自专栏Lansonli技术博客
数据中台建设（三）：数据中台架构介绍
一、数据中台构建方法论 数据中台的建设内容包含技术体系、数据体系、服务体系、运营体系四大体系。 不同企业业务不同对应的数据不同，当然构建的数据体系内容也不同，但是建设的方法都是类似的。 服务体系 数据中台与大数据平台最主要的区别是数据中台中数据能方便的以服务化的方式支撑业务。 数据中台构建稳定之后，一般会循环3~5步骤，不断挖掘数据和业务场景的结合点。 由以上建设数据中台内容体系来看，建设数据中台除了有对应的方法论之外，还需要有对应的支撑技术、组织架构。 “方法论”、“支撑技术”、“组织架构”实际上是建设数据中台的“三板斧”，缺少任何一个条件都不能建设好中台。 运营体系和安全管理 运营体系和安全管理是数据中台健康持续运转的基础。建设内容主要涉及企业资产管理和数据安全，使数据越用越多，越用越活。 三、数据中台技术架构 数据中台的技术架构如下：
4.3K112编辑于 2022-04-30 消失的数据中台-数据中台降温和中台项目建设失败的原因分析
今天继续和大家讨论数据中台的话题。最近半年时间里，不知大家是否注意到，关于数据中台的讨论已经相当减少，甚至可以说数据中台的热度明显下降了。 比如，昨天在我们的微信技术交流群中，有朋友提到，他们投入了数百万元规划建设的数据中台项目，但过了一年多仍无法完成项目验收。 首先，有些问题原本只需建立小型BI系统即可解决，但却被规划成复杂的数据中台大项目。这导致项目整体规划、平台建设和技术架构变得复杂，最终仍只能提供一些辅助决策支持的报表。 这导致了一个关键问题：数据治理人员不清楚应采集集成何种数据、如何进行数据整合，以及整合后的数据如何反馈业务，支持端到端业务场景和价值流。 基于以上三点，导致许多数据中台建设项目未达预期效果，甚至夭折。 回顾数据中台，我们应该更容易理解，问题并非数据中台思想本身有问题，而是与企业发展阶段、业务和IT成熟度水平密切相关。企业在规划数据中台时必须思考：是否真正需要数据中台？数据中台能为企业带来何种价值？
25700编辑于 2025-06-24【数据中台建设】数据权限的设计思路
【数据中台建设系列之五】数据中台-数据权限数据安全是数据中台建设的一个核心功能，本篇文章将主要介绍数据安全中的一个重要模块—数据权限，包含数据行级权限和列级权限的一些设计思路，如果你也正在调研数据权限或者有这个计划 数据权限确保了数据资产的安全性和合规性，通过数据权限管理，可以更好地控制用户对数据资产的访问和操作，提高数据中台的价值。二、数据权限目标数据权限主要包含数据的行级权限和列级权限。 而列级权限，主要是对数据中某一个字段进行隐藏或者做不可见处理，从而达到数据隔离或者脱敏目的，列级权限限定的是一个状态。三、数据权限系统流程数据权限主要包含应用层、服务层和执行层三大块。 在编辑条件栏中可以添加每个具体的规则，这里需要注意的一点就是，所有的筛选字段只能是数据集模型中的字段（也就是SELECT后面的字段）。目前对字段的过滤有三种方式：枚举筛选，标签筛选和条件筛选。 在数据中台建设中，数据权限建设是非常重要的一环，本篇文章详细介绍了整体设计思路和配置流程，希望对大家有一定的借鉴帮助。我正在参与2024腾讯技术创作特训营最新征文，快来和我瓜分大奖！
5K11编辑于 2024-07-05- 来自专栏大数据成神之路
企业级数据中台建设指南
场景描述：本文围绕什么是数据中台，中台怎么建设，中台产品怎么选择，案例分析介绍企业级数据中台的建设。 关键词：数据中台 本文围绕什么是数据中台，中台怎么建设，中台产品怎么选择，案例分析介绍企业级数据中台的建设。 数据中台怎么建设 数据中台体系涵盖整个数据中台解决方案框架图，既包含数据技术平台，也包含数据开发、数据模型、数据资产和数据产品应用。 通过建设数据中台建立数据资产体系，规模化服务业务，保证数据质量，更大限度的发挥数据价值。 一整套体系化的数据中台建设实施流程，包括需求调研、需求分析、架构设计、数据与应用开发、部署和测试运维等。 ? ? ? ? ? ? ? ? ? ? 数据中台产品怎么选 ? ? ? ? ? ? ? ?
2.6K20发布于 2019-12-19 - 来自专栏大数据成神之路
数据中台建设五步法
数据中台建设五步法是我们在十几个数据中台项目落地实践中总结出的一套方法论。 通过评定结果，我们可以确定数据应用的实现路径。 第三步：数据资产建设 数据资产的建设要依托数据中台的核心产品完成。数据资产是企业数据化建设的关键基础。 关于数据中台的种种探讨和争议以及妥协的很大一部分原因是这个基础建设庞大、复杂和投入高。 数据资产建设的内容包括以下几个方面。 技术建设 （1）产品选型。 产品选型包括如何选择数据中台产品、数据中台产品应该具备的功能以及技术参数指标。 （2）技术架构设计。 技术架构设计包括数据中台产品如何部署、如何替换传统的数据仓库或者与之并行、数据中台如何抽取当前的应用数据。 标准和数据仓库模型构建 （1）建模及开发规范。
1.5K30发布于 2020-05-21 - 来自专栏Spark学习技巧
爱奇艺数据中台建设方案
数据中台的产生：数据工作的痛点、数据中台的产生、中台的实质 爱奇艺数据中台的定义：理解数据中台、数据中台的发展历程、输出和定位 爱奇艺数据中台的建设：中台建设、Pingback体系、数仓体系、数仓平台、 在数据标准化过程中，数据中台可以防止数据重复建设，避免口径问题，提高数据的使用效率。 2、数据中台的发展历程 3、数据中台的输出 数据中台输出形式分为以下几个： 4、数据中台的定位 说到数据中台定位，因为数据中台和前台、后台都需要有一个明确的划分，数据中台定位提供了这种抽象通用的能力来支持前台团队在此基础之上进行定制化 三、爱奇艺数据中台建设 1、建设 主要从五个角度去输出中台能力，分别是服务、数据、平台、投递、标准/规范。 而且，为了帮助数仓建设过程中的数据建模和统计指标的管理，建设了一个对应的数据平台，也是按照数据规范的标准建设，以此来支持使用方使用平台依照规范去建设数仓的流程化工作。
78620编辑于 2022-01-12 - 来自专栏暴走大数据
企业级数据中台建设指南
By 大数据技术与架构 场景描述：本文围绕什么是数据中台，中台怎么建设，中台产品怎么选择，案例分析介绍企业级数据中台的建设。 关键词：数据中台 本文围绕什么是数据中台，中台怎么建设，中台产品怎么选择，案例分析介绍企业级数据中台的建设。 数据中台怎么建设 数据中台体系涵盖整个数据中台解决方案框架图，既包含数据技术平台，也包含数据开发、数据模型、数据资产和数据产品应用。 通过建设数据中台建立数据资产体系，规模化服务业务，保证数据质量，更大限度的发挥数据价值。 一整套体系化的数据中台建设实施流程，包括需求调研、需求分析、架构设计、数据与应用开发、部署和测试运维等。 ? ? ? ? ? ? ? ? ? ? 数据中台产品怎么选 ? ? ? ? ? ? ? ?
3K10发布于 2019-12-18 - 来自专栏网络安全观
Gartner对于建设数据中台的建议
与其不断地讨论什么是数据中台，企业更应该了解建设数据中台的目的是让企业高效的数据驱动，减少重复的架构建设。如果要用一张图来描绘Gartner如何看待数据中台的建设方向，可以如下图所示。 ? 以下是Gartner对于想建设数据中台企业的建议。 阿里，腾讯这样的数字化原生的企业建设中台是十分有优势的，或者说数据中台是这些企业在业务指数级增长的同时自然生长出来的产物。 企业建设数据中台绝不是把所有的数据全部收集在一个地方了再开始应用数据，随着数据的不断涌入，用一种连接（Connect）的方式在数据原本存放的介质中重复利用数据才是数据中台也该有的手段。 业务场景出发整理已有的数据分析能力 企业在不断建设自己数字化平台时，早已投入了各种数据分析资产，这个时候为了数据中台这个新词而放弃已经建立的数仓，数据湖，数据整合平台是没有必要的，企业需要做的是把数据中台作为一个组织战略去联合各个部门共同建设可复用且自服务性高的数据分析能力
97020发布于 2021-03-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号