- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据指象
知数仓名，懂数仓义
做数据开发不能绕过数据仓库的建设，数仓是数据分析/数据挖掘的基础料仓，更是描述一个企业蓝图的智库。 如何打造出一个反映企业全局的数仓视图是“路漫漫其修远兮”的任重远道； 在数据公众号“数据指象”的上一篇推文《数仓矛盾的演进之旅》中，描述了数仓由简入繁的其中道理。今天我们接着了解数仓的名义。 数据集成性：集成是数仓最重要的特点之一，也是突出与传统数据库的特性之一；没有集成数仓就没有价值；只有将：同义不同名、同名不同义、多数据源、码值分解等等杂乱无章的数据，以集成就行统一、进行归一、进行编排形成一致性统一的的数仓 非易失性：不易丢失数据是仓的基本属性，数仓承接经年累月的数据输入，保存历史的数据细节，在时间的作用慢慢地聚沙成塔，让微小的数据也能发出耀眼的光芒。 具体数仓中粒度如何选择，后续将分享如何构建双粒度数仓 周末快乐
1K20编辑于 2022-04-27 数仓入门篇-数仓分层
整体架构图解直接看数仓分层的整体层级图各层级详解ODS层-操作数据层定义：数据仓库的“缓冲区”或“贴源层”。 核心作用：隔离风险：避免复杂的清洗逻辑直接影响源系统，也避免源系统变更直接击穿数仓。历史回溯：源系统通常只保留近期数据或覆盖更新，ODS层通过全量或增量快照保留历史状态。 它是数仓的字典中心，确保全公司对于用户、商品、城市的定义是统一的。核心作用：统一口径：避免不同报表中“北京市”和“北京”被算作两个城市。 DWD层-明细数据层定义：数仓的核心层。基于ODS数据进行清洗、规范化、脱敏、维度关联后生成的明细事实表。核心作用：数据清洗：去除脏数据、统一枚举值（如性别统一为0/1）、空值填充。 屏蔽底层复杂性：业务分析师只需要关注DWS和ADS层，不需要理解底层的3NF复杂关联或脏数据清洗逻辑。
80710编辑于 2026-03-13- 来自专栏大数据和云计算技术
新数仓系列：开源组件运营（3）
概念很高大上，搞得久了就会发现，大部分都还是数据仓库的衍伸，所以我们称呼这个为“新数仓”，我准备写一系列相关的文章，有没有同学愿意一起来的？请联系我。 前面有一些相关文章，大家可以看看： 新数仓系列：Hbase国内开发者生存现状（2） 新数仓系列：Hbase周边生态梳理（1） 产品决定的是长期竞争力，运营决定的是短期用户体验。 内容运营 内容运营这样一个分支，其实核心要解决的问题是：围绕着内容的生产和消费搭建起来一个良性循环，持续提升各类跟内容相关的数据，如：内容数量、内容浏览量、内容互动数、内容传播数……等等。 3. 活动运营 至于活动运营，核心就是围绕着一个或一系列活动的策划、资源确认、宣传推广、效果评估等一系列流程做好全流程的项目推进、进度管理和执行落地。 3、 线上线下交流活动（meetup，专家讲座，summit等）。 4、 成功的用户案例。
1.2K40发布于 2018-03-08 - 来自专栏个人总结系列
数仓设计和规范—数仓背景知识
ER模型 Inmon提出的企业级数据仓库模型采用三范式（3NF），即ER模型。若从企业级数据仓库模型着手，走的就是一条自顶向下的建设途径：先建企业级数据仓库，再在其上开发具体的应用。 3. Data Vault模型 Data Vault 是 Dan Linstedt 发起创建的一种模型，它是ER模的衍生，其设计的出发点也是为了实现数据的整合，但不能直接用于数据分析决策。 数据仓库的分层 基于数据仓库模型理论指导，以数据分析，统计指标为导向，为了能够记录数据的历史，便于处理业务变化，把复杂问题简单化，通过空间换时间提高数据访问效率，数据集成考虑，在数仓实际开发过程中进行分层处理 3. 数据中间层：DWM（Data WareHouse Middle） DWM是在DWD层的数据基础上，对数据做轻度的聚合操作，生成一系列的中间表，提升公共指标的复用性，减少重复加工。 从上往下看对应数据仓库分层如下： image.png 从分层开发来看： 数仓流程.png 附：阿里数据仓库分层 1.分层和作用 image.png 2.数据分层架构 分层架构.png 3.网易数据架构
3.3K01发布于 2020-11-07 - 来自专栏个人总结系列
数仓设计和规范—数仓构建流程
② 维度：维度是度量的环境，是我们观察业务的角度,如时间，地点等，用来反映业务的一类属性 。其中描述维度的是 属性，即维度属性，是查询约束条件、分组和报表标签生成的基本来源，是数据易用性的关键。 ③ 度量：度量是指标产生的原始数据，或者是指标的结果值，度量通常为数值型数据，作为事实逻辑表的事实。 ④ 指标：指标分为原子指标和派生指标。原子指标是基于某一业务事件行为下的度量，是业务定义中不可再拆分的指标，是具有明确业务含义的名词 ，体现明确的业务统计口径和计算逻辑，例如支付金额。 原子指标=业务过程+度量，如订单数量，支付金额。 派生指标=时间周期(When)+修饰词(How)+原子指标，派生指标可以理解为对原子指标业务统计范围的圈定，如用户近1日通过支付宝支付金额，用户近30日通过手机APP产生的订单数量。
1.9K21发布于 2021-07-01 - 来自专栏BigData_Flink
数仓分层
A1 作用: 复杂问题简单化 隔离原始数据（后期统计和真实数据解耦） 数据复用性提高 数据结构更清晰 统一数据口径 A2 优缺点 优点 效率高 缺点 预计算 占空间 A3 图解 A4 实现 A4 位置 A5 相关 数仓项目
86310发布于 2021-04-12 - 来自专栏大数据数仓建设
「数仓建设篇」数仓主题域划分
一、前言数据仓库具有面向主题的特性，那么就会有主题的概念，数仓建设是遵循纵向分层开发，横向划分主题域设计，数仓分层就不在这次谈了，这次我会结合本人数仓工作实践总结的经验来聊聊数仓主题域划分，同时会引申出主题划分 业务调研数仓开发侧是承上对接业务研发侧&承下对接数据分析侧，在数仓建设前期要对上游业务过程和对下游数据分析指标体系有所了解和熟知，然后拉齐上下游沟通数据口径和数仓搭建。2. 主题域划分3. 数仓分层设计模型表6. 数仓公共层表迭代升级三、主题和主题域下面结合本人对搬家业务的数仓建设，进行主题域划分和主题划分实践，当然项目的大小决定着这是一个小型的数据集市 还是 企业级的数据仓库。1. 3. ：「数仓建设篇」数仓主题域划分 另外，公众号有海量大数据领域资料 欢迎领取。同时也欢迎大家加我微信，拉你进大数据技术交流群，一同成长。图片
4K01编辑于 2022-10-31 - 来自专栏机器学习/数据可视化
数仓分层
数仓分层 数据分层是数据仓库设计中一个十分重要的环节，良好的分层设计能够让整个数据体系更容易被理解和使用。本文介绍的是如何理解数据仓库中各个分层的作用。 图解数据分层 何为数仓DW Data warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。 数仓分层中每个层的作用是什么？ …… 在实际的工作中，我们都希望自己的数据能够有顺序地流转，设计者和使用者能够清晰地知道数据的整个声明周期，比如下面左图。 可以选择使用flume来定时同步；可以使用spark streaming或者Flink、Kafka来实时接入 消息队列：来自ActiveMQ、Kafka的数据等 数据仓库层 数据仓库层从上到下，又可以分为3个层 id=48/Data-Warehouse-Architecture 3、What is a data warehouse?
1K10编辑于 2023-08-23 - 来自专栏最新最全的大数据技术体系
最新数仓面试题_知行教育数仓项目
3、数据仓库和传统的业务数据库有什么区别？ 4、OLTP和OLAP分别是什么？有什么区别？ 5、项目是如何分层的 6、数仓一般怎么做分层处理呢？ 7、数仓分层的作用是什么？ 数据仓库主要用于数据挖掘和数据分析，辅助领导做决策； 它们的主要区别体现在数仓是综合的或提炼的，数据库是细节的，数仓主要用星型模型或雪花模型；面向分析，支持决策需求；而数据库用的是实体-关系（E-R） 5、项目是如何分层的 一般分成三层 ODS DW ADS 也会有Dimen层 6、数仓一般怎么做分层处理呢？ ODS——》DWD——》DWM——》DWS 7、数仓分层的作用是什么？ 14、一个企业一般构建几个数据仓库最好，并说明 最好一个， 因为企业面临的困境就是数据孤岛问题，如果数据存储太过分散就无法发挥数仓的优势。即使是两个数仓也会遇到数据同步问题，会浪费时间，降低效率。 同时对事务的支持性不行 适用的场景： 数仓的特性很大一部分是针对列的过滤，列的搜索，列的匹配，所以很多数仓结构比较适合使用列存储 列存储也比较适合做OLAP 30、什么是Hive的分区？
2K21发布于 2021-04-09 - 来自专栏Java
数仓分层架构
数仓分层架构 数仓（Data Warehouse）是企业中用于存储和管理大量结构化和非结构化数据的重要组成部分。 为了有效管理和利用这些数据，数仓通常采用分层架构，包括原始数据层、数据处理层和数据应用层。每个层级都承担着特定的任务，以确保数据的完整性、可靠性和可用性，从而支持企业的数据驱动决策和业务应用。 1. 原始数据层 原始数据层是数仓架构的基础，主要用于存储原始的、未经处理的数据。这些数据来自各个业务系统和数据源，包括日志数据、交易数据、用户行为数据等。 withColumn("new_column", expr("CASE WHEN condition THEN value ELSE default_value END")) cleanedDF.show() 3.
57810编辑于 2025-01-21 - 来自专栏小道
数仓如何设计
一、数仓为什么要分层？ 合理的数据仓库分层一方面能够降低耦合性，提高重用性，可读性可维护性，另一方面也能提高运算的效率，影响到数据需求迭代的速度，近而影响到产品决策的及时性。 建立数据分层可以提炼公共层，避免烟囱式开发，可见一个合适且合理的数仓分层是极其重要。 内容相对的窄：列数较少 3. 经常发生变化，每天会新增加很多。 1）事务型事实表 以每个事务或事件为单位，例如一个销售订单记录，一笔支付记录等，作为事实表里的一行数据。 数仓建设是一个不断迭代的过程，数据建模同样是一个不断迭代的过程。同时，业务是不断变化的，建模人员对业务的理解也是变化的，这些也就注定了建模是一个迭代过程。 由于数仓的建设是与业务息息相关的，数仓建设的方法论仅仅只是指引我们构建数仓的一个方向，在实际的落地执行过程中会存在各种各样的问题，且不可被这些理论所禁锢。简单一句话就是：合适就好。
2K30发布于 2021-04-13 - 来自专栏Snova数据仓库
Snova数仓简介
Snova为您提供简单、快速、经济高效的PB级云端数据仓库解决方案。借助于Snova，您可以在数分钟内创建拥有数百节点的企业级云端数据仓库，并高效的完成日常维护工作；也可以使用丰富的Postgre开源生态工具，实现对Snova中海量数据的即时查询分析、ETL处理及可视化探索；还可以借助其云端数据无缝集成特性，轻松分析位于COS、CDB、ES等数据引擎上的PB级数据。
2.5K20发布于 2018-08-21 - 来自专栏chimchim要努力变强啊
数仓分层设计
目录 一、分层目的 二、分层架构概览 三、详细分层设计 1.ODS (opreational data store) 2.DWD(data warehouse detail) 3.DIM（dimension ） 4.DWS(data warehouse service) 5.ADS（Application Data Service） ---- 一、分层目的 数仓分层的目的是：逐层解耦，减少重复计算，降低烟囱式开发 界限清晰） 7.数据团队分域后，可以决定域内表的中间命名（看到表名时可以理解更多信息） 示例： 交易域 （2）.选择业务过程 业务过程是一个不可拆分的行为事件 示例： 下单、支付、发货、确认收货 （3） （商品一级二级三级、省市县、年月日） 3.DIM（dimension） 基于维度建模理念思想，建立整个企业的一致性维度。降低数据计算口径和算法不统一风险。 示例： 用户运营表 用户id,浏览次数，登陆次数，购买次数，退款次数，确认收货次数
99510编辑于 2022-11-13 - 来自专栏数仓建模
数仓问题思考
2、建模相关2.1、仓模型的好坏有评价标准吗？有哪些评价的维度？如何持续化治理？2.2 数据一致性问题3、产品相关3.1.关于用户体验的事情如何设计和落地的？ 5、职业规划5.1、数仓工程师成长的脉络图，或者说知识架构图？5.2、发展之路上需要哪些核心能力，每个阶段需要专注提升哪些能力。
66560编辑于 2022-09-05 - 来自专栏暴走大数据
数仓潮汐猎人 | 数据仓库企业数仓拉链表制作
3.需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态。 而且我们要确定拉链表的时间粒度，比如说拉链表每天只取一个状态，也就是说如果一天有3个状态变更，我们只取最后一个状态，这种天粒度的表其实已经能解决大部分的问题了。 保留部分历史数据，比如说我们一张表里面存放全量的拉链表数据，然后再对外暴露一张只提供近3个月数据的拉链表。 ? ? 人工流产对生殖健康的不利影响[J] 中国计划生育学杂志, 2016, 24(1):7-10. [3] 高飞艳,张逢香,单玉珍,刘明晖.超导可视无痛人工流产的临床疗效及术后宫腔黏连的危险因素[J].海南医学
95010发布于 2021-01-26 - 来自专栏深度学习与python
伴鱼数仓演进
3数仓建设 数仓 1.0 2019 年 Q3 之前，整体数据情况是：数据体量小，团队人员不足，底层表调整频繁，业务灵活多变，要求响应速度快。 基于当时的背景和目标，数仓架构主要是基于 TIBD 构建的 3 层数仓结构，原始数据层、base 层、stat 层。 调研后发现大体有如下几种方式： 方式一（分总形式）： 业务线或部门自建数仓，各个业务线分别建设自己的数仓，数仓与数仓之间无直接关系，使用其他业务线数据，通过权限申请拉取使用，或通过 FTP 文件的形式同步数据 方式二（分层形式）： 划分基础数仓与应用数仓，基础数仓通过自下而上，面向于主题的方式进行设计，更加专注的做好底层建设。应用数仓通过自上而下，面向于应用的进行开发，更好的支持业务需求。 应用数仓自建底层模型：为了快速响应业务需求，应用数仓研发自己开发了所需的 DW 层表，等基础数仓开发完后，无时间进行迁移改造，造成新的烟囱式问题。
62220编辑于 2023-04-01 - 来自专栏数仓建模
数仓建模理论（一）
② 模型设计结合3NF及维度模型的理念，其灵活性、可扩展性、一致性更好满足企业数仓要求。 4、Anchor 数据模型 Anchor模型的提出者认为数据仓库需要提供稳定性高且具有一致性的服务，但是面对外部业务环境不断变化的矛盾，数仓的维护将变得十分复杂且耗时，为了应对这些变化和挑战，数据模型的设计必须具备模块化 Anchor 模型具有极大的可扩展性与复用度，按照这种方式建设数仓后能够大大降低模型的维护成本，这种模型通常适用于基础明细层的设计，但是这种高度规范化的建模方法对于建模者的要求也是难以衡量的，因此在企业数仓中很少展开实际应用 3、指标体系 OneModel的一个核心内容是派生指标的构建方法，派生指标由原子指标、时间周期、业务限定、统计粒度统一定义。 此外，还需要进一步了解各业务板块中已有的业务流程，业务流程通常与业务板块紧密耦合，对应一个或多个表及其所属数据源，可以作为构建数仓的原始数据来源。
3.3K93编辑于 2025-02-24 - 来自专栏小四的技术文章
浅谈大数据数仓
，在进入正题前，我们先认识一下数仓。 数仓顾名思义就是存放数据的仓库，那MySQL不也是存放数据的地方吗？ 下面是数仓的架构图，包含了离线数仓和实时数仓。 数仓分类 数仓分为实时数仓，离线数仓，实时离线一体化。 实时数仓 实时数仓就是对数据的实时性要求比较高，所以是即时运算的，它的数据来源和离线是一样的，数据出来后，一条走了实时，一条走了离线（Lambda架构）,相比于离线数仓，实时数仓的难度就要大得多，因为离线数仓的数据是全量数据 总结 上面只是简单地介绍了数仓的一些基本知识，数仓的分类，数据来源和数据流向，能够对数仓从整体上有一个认识，并没有从数仓的建模，技术等方面去说，后续再从数仓的各个组件和技术框架去说。
97820编辑于 2023-03-02 - 来自专栏数据派THU
数仓命名规范大全
来源：蜜獾报告 本文约3200字，建议阅读5分钟本文介绍了数仓命名规范。 02XX 表规范 关于词根 词根属于数仓建设中的规范 ，属于元数据管理的范畴，现在把这个划到数据治理的一部分。 完整的数仓建设是包含数据治理的，只是现在谈到数仓偏向于数据建模 ， 而谈到数据治理，更多的是关于数据规范、数据管理。 3 、临时表 临时表是临时测试的表，是临时使用一次的表，就是暂时保存下数据看看，后续一般不再使用的表，是可以随时删除的表。 (1) 全量表，有无变化，都要报 (2) 每次上报的数据都是所有的数据 (变化的 + 没有变化的) (3) 只有一个分区 3、快照表 按日分区，记录截止数据日期的全量数据。
2.1K30编辑于 2023-05-11 - 来自专栏阿黎逸阳的代码
Python连接星环数仓取数
二、连接数仓 接下来定义连接数仓所需的基本信息，并应用jaydebeapi库连接数仓。 这个需替换成你的jar文件的路径 conn = jaydebeapi.connect(dirver, url, [user, password], jarFile) curs=conn.cursor() #连接数仓 三、定义跑数sql脚本 接着定义跑数sql脚本，可根据需求进行定义。 这个需替换成你的jar文件的路径 conn = jaydebeapi.connect(dirver, url, [user, password], jarFile) curs=conn.cursor() #连接数仓 sql1, conn) #获取用户行为数据 bind_card = pd.read_sql_query(sql2, conn) #获取用户绑卡数据 至此，Python连接数仓已讲解完毕，如想了解更多Python
1K10编辑于 2024-04-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号