- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据仓库
数据仓库(10)数仓拉链表开发实例
拉链表是数据仓库中特别重要的一种方式，它可以保留数据历史变化的过程，这里分享一下拉链表具体的开发过程。 在开始介绍之前，这里的数据仓库的环境是HIVE。首先看看原始的数据: 图片可以看到，原始的数据是每一个商品，一条记录，每一个商品，只保留最新的价格信息。这里的拉链表，我们做到天粒度的。 需要数据仓库资料可以点击这个领取数据仓库(13)大数据数仓经典最值得阅读书籍推荐 参考资料：数据仓库(01)什么是数据仓库，数仓有什么特点数据仓库(02)数仓、大数据与传统数据库的区别数据仓库(03) 数仓建模之星型模型与维度建模数据仓库(04)基于维度建模的数仓KimBall架构数据仓库(05)数仓Kimball与Inmon架构的对比数据仓库(06)数仓分层设计数据仓库(07)数仓规范设计数据仓库( 08)数仓事实表和维度表技术 数据仓库(09)数仓缓慢变化维度数据的处理数据仓库(10)数仓拉链表开发实例数据仓库(11)什么是大数据治理，数据治理的范围是哪些数据仓库(12)数据治理之数仓数据管理实践心得数据仓库
81290编辑于 2023-01-18 - 来自专栏大数据解决方案
架构师 | 数据仓库建设灵魂10问
笔者先后在外企，互联网，金融行业工作，从最初的ODS，DM架构到后面ODS，DWD，DWS，ADS架构都有较深的理解和应用，甚至在相当长的时间内，数仓设计一直作为一个常规的面试题目，来考核各层级的数仓开发和架构师。然而在实际的沟通的交流中，发现很多同学虽然对同样的架构分层设计多多少少都能说出来一些，但是反过来再问为什么这样分层，答案就五花八门了。
70140发布于 2021-03-24 - 来自专栏数据饕餮
数据仓库专题（10）-文本事实和杂项维度
一、杂项维度 在维度建模的数据仓库中，有一种维度叫Junk Dimension，中文一般翻译为“杂项维度”。杂项维度是由操作系统中的指示符或者标志字段组合而成，一般不在一致性维度之列。 2．理想情况下，杂项维度的记录数不要超过10万条。如果建立了杂项维度记录过多，可以考虑拆分成独立的维度或者其他杂项维度。 3．从业务规则角度讲，杂项维度中的不同属性应该是不相关的，以免引起误解。
1.4K20发布于 2019-01-14 - 来自专栏Spark学习技巧
数据仓库①：数据仓库概述
~这就是关于数据仓库最贴切的定义了。事实上数据仓库不应让传统关系数据库来实现，因为关系数据库最少也要求满足第1范式，而数据仓库里的关系表可以不满足第1范式。 有了这些数据快照以后，用户便可将其汇总，生成各历史阶段的数据分析报告； 数据仓库组件 数据仓库的核心组件有四个：各源数据库，ETL，数据仓库，前端应用。如下图所示： ? 1. 前端应用 和操作型数据库一样，数据仓库通常提供具有直接访问数据仓库功能的前端应用，这些应用也被称为BI(商务智能)应用； 数据集市(data mart) 数据集市可以理解为是一种"小型数据仓库"，它只包含单个主题 当用户或者应用程序不需要/不必要不允许用到整个数据仓库的数据时，非独立数据集市就可以简单为用户提供一个数据仓库的"子集"。 数据仓库开发流程 在数据库系列的第五篇 中，曾详细分析了数据库系统的开发流程。数据仓库的开发流程和数据库的比较相似，因此本文仅就其中区别进行分析。 下图为数据仓库的开发流程： ?
3.9K72发布于 2018-03-20 - 来自专栏数据饕餮
数据仓库专题（7）-维度建模10大基本原则
遵循这些原则进行维度建模可以保证数据粒度合理，模型灵活，能够适应未来的信息资源，违反这些原则你将会把用户弄糊涂，并且会遇到数据仓库障碍。 原则9、创建一致的维度集成整个企业的数据 对于企业数据仓库一致的维度(也叫做通用维度、标准或参考维度)是最基本的原则，在ETL系统中管理一次，然后在所有事实表中都可以重用，一致的维度在 整个维度模型中可以获得一致的描述属性 ，可以支持从多个业务流程中整合数据，企业数据仓库总线矩阵是最关键的架构蓝图，它展现了组织的核心业务流程和关联 的维度，重用一致的维度可以缩短产品的上市时间，也消除了冗余设计和开发过程，但一致的维度需要在数据管理和治理方面有较大的投入 原则10、不断平衡需求和现实，提供用户可接受的并能够支持他们决策的DW/BI解决方案 维度建模需要不断在用户需求和数据源事实之间进行平衡，才能够提交可执行性好的设计，更重要的是，要符合业务的需要， 三、未完待续 分布式数据仓库数据存储模型设计进行中，后续会持续更
1.6K50发布于 2019-01-14 - 来自专栏Hadoop数据仓库
Greenplum 实时数据仓库实践（10）——集成机器学习库MADlib
例如，我们上面给出的那个例子可以分解成两个矩阵，如图10-10所示。 图10-10 分解后得到的UV矩阵 这两个矩阵相乘就可以得到估计的得分矩阵，如图10-11所示。 在生成原始数据时对图10-8的例子做了适当的修改。用户表中u5和u10用户没有给任何歌曲打分，而音乐表中的m10、m14、m15无评分。 添加行为数据 insert into source_data values ('u10', 'm2', 4), ('u10', 'm3', 5), ('u10', 'm4', 3), ('u10' 注意，4 的结果mat_r_10是一个稠密矩阵，5 的结果svd_s_10是一个稀疏矩阵。 此算法的缺点是计算量较大，当K=10时，K层交叉验证示意图如图10-16所示。 图10-16 10折交叉验证 一个常见的问题是：如何确定合适的K值？
1.5K20编辑于 2022-04-13 - 来自专栏chaplinthink的专栏
数据仓库
海盗指标法(AARRR海盗模型) 它反映了增长是系统性地贯穿于用户生命周期各个阶段的：用户拉新(Acquisition)、用户激活(Activation)、用户留存(Retention)、商业变现(Revenue)、用户推荐(Referral)
81220编辑于 2023-10-16 - 来自专栏大数据
数据仓库
在大数据与数据中台建设过程中，数据库与数据仓库的区别、数仓分层架构设计以及ETL与ELT的技术选型，是决定数据平台稳定性、扩展性与分析效率的关键基础，也是数据工程与数据分析必须理解的核心知识。 一、核心辨析：数据库vs数据仓库理解二者的区别是构建数据平台的起点。数据库与数据仓库虽然本质都是存储系统，但它们服务于完全不同的业务目标。 数据仓库(OLAP)-决策分析的大脑它存在的意义是支撑管理层的宏观决策。数据仓库汇聚了全量历史数据，这些数据经过清洗与集成，按主题域（如销售、财务、供应链）进行组织。 二、架构设计：数据分层的艺术如果把数据仓库比作一个工厂，直接加工原材料会导致生产混乱。因此，分层架构是现代数仓不仅清晰可控且易于维护的关键。1.ODS层(数据引入层)：这是数仓的缓冲区。 四、总结构建现代数据仓库，本质上是在成本、效率与质量之间寻找平衡。从数据库与数仓的职能分离，到分层架构的逻辑解耦，再到ETL向ELT的演进，这一系列技术选择都旨在更好地服务于数据的价值变现。
17531编辑于 2026-03-20 - 来自专栏超级架构师
【数据仓库】现代数据仓库坏了吗？
数据仓库是现代数据堆栈的基础，所以当我们看到 Convoy 数据负责人 Chad Sanderson 在 LinkedIn 上宣称“数据仓库坏了”时，它引起了我们的注意。 我会让您自己决定“不可变数据仓库”（或主动与被动 ETL）是否适合您的数据团队。 不可变数据仓库如何结合规模和可用性 乍得桑德森的观点 现代数据堆栈有许多排列，但数据仓库是一个基础组件。 另一种方法：引入不可变数据仓库 不可变数据仓库概念（也称为活动 ETL）认为，仓库应该是通过数据来表示现实世界，而不是乱七八糟的随机查询、损坏的管道和重复信息。 不可变数据仓库也面临挑战。以下是一些可能的解决方案。 我并不认为不可变数据仓库是灵丹妙药。与任何方法一样，它也有其优点和缺点，而且肯定不是每个组织都适用。
2.3K20编辑于 2022-09-26 - 来自专栏智能大数据分析
数据仓库实验一：数据仓库建立实验
查看、编辑数据仓库的基本模型（即事实表与维度表之间的关系）。针对某一系统需求，从无到有设计一 个数据仓库基本架构，要求能够按不同维度进行多维数据查询分析。 六、实验总结体会 数据仓库的设计过程需要充分理解业务需求和数据特点，结合具体业务场景进行建模。 在本实验中，针对电商销售情况分析的需求，采用了星型模型来设计数据仓库的维度表和事实表，这样的设计能够简洁清晰地反映业务事件的关联关系。 在数据仓库的设计中，维度表的设计尤为重要。 通过定义数据源、数据源视图、维表、多维数据集等，完成了数据仓库的搭建和多维分析项目的部署。 总的来说，本次实验使我深入了解了数据仓库的建立方法和多维分析的基本过程，对于应用 SQL Server 进行数据仓库建模和多维分析项目开发有了更深入的理解和实践经验。
1.1K00编辑于 2025-01-22 - 来自专栏ellipse数据库技术
数据仓库
*了解数据仓库相关技术 *了解数据仓库设计过程建造，运行及维护 *了解OLAP及多维数据模型 决策支持系统及其演化 一般将数据分为：分析型数据与操作型数据 操作型数据：由企业的基本业务系统产生的数据 数据仓库的特性：面向主题性，集成性，不可更新和时间性。 集成：数据仓库最重要的特性，分为数据抽取转换，清理（过滤）和装载 不可更新：数据仓库中的数据以批量方式处理，不进行一般主义上的数据更新。 数据仓库的体系结构与环境 从数据层次角度的体系结构来看，典型的数据仓库的数据体系结构包括：操作型数据、操作型 数据存储、数据仓库、数据集市和个体层数据 从功能结构看，可分为数据处理、数据管理和数据应用三个层次 数据仓库的数据组织< 粒度、数据分割（分区）、元数据> 数据仓库的数据单位中保存数据的细化程度或综合程度的级别。 细化程度越高，粒度越小 粒度影响到数据仓库的数据量及系统能回答的查询的类型 进行数据仓库的数据组织时，应根据当前应用的需求进行多粒度级设计。满足多角度，多层次数据查询要求。
2.4K40发布于 2019-09-12 - 来自专栏Spark学习技巧
数据仓库②-数据仓库与数据集市建模
前言 数据仓库建模包含了几种数据建模技术，除了之前在数据库系列中介绍过的ER建模和关系建模，还包括专门针对数据仓库的维度建模技术。 本文将详细介绍数据仓库维度建模技术，并重点讨论三种基于ER建模/关系建模/维度建模的数据仓库总体建模体系：规范化数据仓库，维度建模数据仓库，以及独立数据集市。 数据仓库建模体系之规范化数据仓库 所谓"数据仓库建模体系"，指的是数据仓库从无到有的一整套建模方法。最常见的三种数据仓库建模体系分别为：规范化数据仓库，维度建模数据仓库，独立数据集市。 很多书将它们称为"数据仓库建模方法"，但笔者认为数据仓库建模体系更能准确表达意思，请允许我自作主张一次吧：）。下面首先来介绍规范化数据仓库。 数据仓库建模体系之维度建模数据仓库 非维度建模数据仓库(dimensionally modeled data warehouse)是一种使用交错维度进行建模的数据仓库，其总体架构如下图所示： ?
6.1K72发布于 2018-03-20 - 来自专栏智能大数据分析
【数据仓库与联机分析处理】数据仓库
一、数据仓库的概念 目前很难给数据仓库（Data Warehouse）一个严格的定义，不准确地说，数据仓库也是一种数据库，它与操作性数据库进行分开维护。 1、面向主题是指数据仓库会围绕一些主题来组织和构建，如顾客、供应商、产品等，数据仓库关注决策者的数据建模与分析，而不是企业的日常操作和事务处理，因此，数据仓库排除对决策支持过程无用的数据，提供面向特定主题的视图 3、相对稳定是指数据仓库大多会分开存放数据，数据仓库不需要进行事务处理、数据恢复和并发控制等机制，通常数据仓库只需要两种数据访问操作：数据的初始化装入和数据的访问。 二、数据仓库与操作性数据库的区别 为了进一步加深对数据仓库概念的理解，我们把数据库系统和数据仓库进行对比。为了区分，这里把数据库系统称为操作性数据库。 2、迪斯尼乐园 Disney每年都有10亿美元商品销售收入，而建立一个ERP系统来处理这些信息是极具挑战性的。最新的集中式ERP系统是设计用来处理商品管理、存货管理和相关业务过程的。
89100编辑于 2025-01-22 - 来自专栏全栈程序员必看
数据仓库ods层_app数据仓库搭建
数据仓库之ODS层搭建 我们本项目中对数据仓库每层的搭建主要分为两部分，第一部分是确定都有哪些表，第二部分是确定数据装载的方式。
3.4K30编辑于 2022-11-14 - 来自专栏数据饕餮
数据仓库专题（1）-数据仓库生命周期模型
一、前言 工作内容的变更，导致重新回到数据仓库模型的架构和设计，于是花点时间比较系统的回顾数据仓库建模和系统建设的知识体系，记录下来，作为笔记吧。 二、模型 无论数据仓库技术如何变化，从RDBMS到NoSQL,从传统技术到大数据，其实只是实现技术手段的变化，数据仓库建设生命周期的模式从来都不曾真正颠覆性改变过。向前辈致敬。 另外项目团度在招：资深的数据仓库模型设计师-工作地点北京，有感兴趣的可以把简历发给我吧。
2.1K20发布于 2019-01-14 - 来自专栏文渊之博
数据仓库建模
一、数据仓库建模的意义 如果把数据看作图书馆里的书，我们希望看到它们在书架上分门别类地放置；如果把数据看作城市的建筑，我们希望城市规划布局合理；如果把数据看作电脑文件和文件夹，我们希望按照自己的习惯有很好的文件夹组织方式 下图是个示例，通过统一数据模型，屏蔽数据源变化对业务的影响，保证业务的稳定，表述了数据仓库模型的一种价值： 二、数据仓库分层的设计 为了实现以上的目的，数据仓库一般要进行分层的设计，其能带来五大好处： 三、两种经典的数据仓库建模方法 前面的分层设计中你会发现有两种设计方法，关系建模和维度建模，下面分别简单介绍其特点和适用场景。 1、维度建模 （1）定义 维度模型是数据仓库领域另一位大师Ralph Kimball 所倡导的。 （3）优缺点 优点：技术要求不高，快速上手，敏捷迭代，快速交付；更快速完成分析需求，较好的大规模复杂查询的响应性能 缺点：维度表的冗余会较多，视野狭窄 2、关系建模 （1）定义 是数据仓库之父Inmon
1.7K31发布于 2020-06-19 - 来自专栏超级架构师
「数据仓库技术」怎么选择现代数据仓库
构建自己的数据仓库时要考虑的基本因素 ? 我们用过很多数据仓库。当我们的客户问我们，对于他们成长中的公司来说，最好的数据仓库是什么时，我们会根据他们的具体需求来考虑答案。 通常，他们需要几乎实时的数据，价格低廉，不需要维护数据仓库基础设施。在这种情况下，我们建议他们使用现代的数据仓库，如Redshift, BigQuery，或Snowflake。 大多数现代数据仓库解决方案都设计为使用原始数据。它允许动态地重新转换数据，而不需要重新摄取存储在仓库中的数据。 在这篇文章中，我们将深入探讨在选择数据仓库时需要考虑的因素。 因为这个存储层被设计成完全独立于计算资源的可伸缩性，它确保了可以毫不费力地为大数据仓库和分析实现最大的可伸缩性。 当数据量在1TB到100TB之间时，使用现代数据仓库，如Redshift、BigQuery或Snowflake。
6.4K31发布于 2020-09-17 - 来自专栏智能大数据分析
【数据仓库与联机分析处理】数据仓库工具Hive
Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。 Hive十分适合对数据仓库进行统计分析。 数据库可以用在 Online 的应用中，但是 Hive 是为数据仓库而设计的，清楚这一点，有助于从应用角度理解 Hive 的特性。 3、数据更新 由于 Hive 是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。因此，Hive中不建议对数据的改写，所有的数据都是在加载的时候确定好的。 2 SMALLINT short 2Byte -32,768～2,767 10 3 INT int 4Byte 10 4 BIGINT long 8Byte -9,223,372,036,854,775,808
94010编辑于 2025-01-22 - 来自专栏大数据手册
数据仓库入门
什么是数据仓库（Data Warehouse，DW）？ 1991 年，数据仓库之父 Bill Inmon 在《Building the Data Warehouse》一书中，给出的定义： “数据仓库一个面向主题的、集成的、稳定的、随时间变化的数据的集合，以用于支持管理决策过程 建立数据仓库的目的是帮助企业高层系统地组织、理解和使用数据，以便进行战略决策。 数据仓库系统的体系结构 源数据层 源数据是数据仓库系统的基础，是整个系统的数据源泉。 数据存储与管理层 元数据 元数据是关于数据的数据，位于数据仓库的上层，用以描述数据仓库内数据的结构、位置和 建立方法。通过元数据进行数据仓库的管理和使用。 数据仓库 数据仓库中存放了企业的整体信息，而数据集市只存放了某个主题需要的的信息，其目的是 减少数据处理量。
2.2K20发布于 2020-02-25 - 来自专栏大数据与知识图谱
数据仓库架构
针对性强，主要应用于数据仓库构建和OLAP引擎低层数据模型。 总线架构 多维体系结构(总线架构) 数据仓库领域里，有一种构建数据仓库的架构，叫Multidimensional Architecture（MD），中文一般翻译为“多维体系结构”，也称为“总线架构”（Bus 前台还包括像查询管理、活动监控等为了提供数据仓库的性能和质量的服务。 一致性维度 在多维体系结构中，没有物理上的数据仓库，由物理上的数据集市组合成逻辑上的数据仓库。而且数据集市的建立是可以逐步完成的，最终组合在一起，成为一个数据仓库。 虽然在物理上是独立的，但在逻辑上由一致性维度使所有的数据集市是联系在一起，随时可以进行交叉探察等操作，也就组成了数据仓库。
2.5K20编辑于 2022-06-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号