- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据湖
数据仓库实战 4
SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/cloudera/parcels/CDH-7.1.3-1.cdh7.1.3.p0.4992530/jars/slf4j-log4j12 /org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] 20/11/25 11:07:56 INFO sqoop.Sqoop SLF4J: Class path contains multiple SLF4J bindings.
1.8K41发布于 2020-12-18 - 来自专栏Hadoop数据仓库
Greenplum 实时数据仓库实践（4）——Greenplum安装部署
内联网络 4. RAID卡性能 5. 100台以上的集群，可以考虑增加Master的网络带宽为4个万兆口做mode4的链路聚合。 4. 软件版本如表4-4所示。 mdw smdw sdw3 4. 例如，考虑如表4-6所示的主机网络配置。
3K31编辑于 2021-12-07 - 来自专栏Spark学习技巧
数据仓库①：数据仓库概述
4. 技术差别 - 查询数据总量和查询频度差别 操作型查询的数据量少而频率多，分析型查询则反过来，数据量大而频率少。要想同时实现这两种情况的配置优化是不可能的，这也是将两类数据库物理分隔的原因之一。 ~这就是关于数据仓库最贴切的定义了。事实上数据仓库不应让传统关系数据库来实现，因为关系数据库最少也要求满足第1范式，而数据仓库里的关系表可以不满足第1范式。 集成性 集成性是指数据仓库会将不同源数据库中的数据汇总到一起； 3. 企业范围 数据仓库内的数据是面向公司全局的。比如某个主题域为成本，则全公司和成本有关的信息都会被汇集进来； 4. 有了这些数据快照以后，用户便可将其汇总，生成各历史阶段的数据分析报告； 数据仓库组件 数据仓库的核心组件有四个：各源数据库，ETL，数据仓库，前端应用。如下图所示： ? 1. 数据仓库开发流程 在数据库系列的第五篇 中，曾详细分析了数据库系统的开发流程。数据仓库的开发流程和数据库的比较相似，因此本文仅就其中区别进行分析。 下图为数据仓库的开发流程： ?
4K72发布于 2018-03-20 - 来自专栏大数据
数据仓库
在大数据与数据中台建设过程中，数据库与数据仓库的区别、数仓分层架构设计以及ETL与ELT的技术选型，是决定数据平台稳定性、扩展性与分析效率的关键基础，也是数据工程与数据分析必须理解的核心知识。 一、核心辨析：数据库vs数据仓库理解二者的区别是构建数据平台的起点。数据库与数据仓库虽然本质都是存储系统，但它们服务于完全不同的业务目标。 数据仓库(OLAP)-决策分析的大脑它存在的意义是支撑管理层的宏观决策。数据仓库汇聚了全量历史数据，这些数据经过清洗与集成，按主题域（如销售、财务、供应链）进行组织。 二、架构设计：数据分层的艺术如果把数据仓库比作一个工厂，直接加工原材料会导致生产混乱。因此，分层架构是现代数仓不仅清晰可控且易于维护的关键。1.ODS层(数据引入层)：这是数仓的缓冲区。 4.ADS层(应用数据层)：这是数仓的出口。数据被加工成高度汇总的指标，直接服务于BI报表、大屏展示或推荐算法。这一层通常是个性化定制的，也是业务感知最强的一层。
23331编辑于 2026-03-20 - 来自专栏chaplinthink的专栏
数据仓库
海盗指标法(AARRR海盗模型) 它反映了增长是系统性地贯穿于用户生命周期各个阶段的：用户拉新(Acquisition)、用户激活(Activation)、用户留存(Retention)、商业变现(Revenue)、用户推荐(Referral)
86420编辑于 2023-10-16 - 来自专栏HappenLee的技术杂谈
OLAP与数据仓库------《Designing Data-Intensive Applications》读书笔记4
这个单独的数据库称为数据仓库。 2.数据仓库 数据仓库，是一个独立的数据库，主要负责分析查询数据，而不会影响OLTP操作。数据仓库中包含公司在各种OLTP系统的数据的只读副本。 ETL在数据仓库与数据库之间的交互 使用一个单独的数据仓库，而不是查询OLTP数据库直接分析。是因为数据仓库可以根据访问的特点优化查询。 3.面向列的存储 在典型的数据仓库中，表的结构通常非常宽。事实表通常有超过一百列，有时设置为几百列。而通常数据仓库的查询只访问一次4或5列的查询。 4.聚合：物化视图 数据仓库另一个常用的优化方式是：物化视图。如前所述，数据仓库查询通常涉及聚合函数，如SQL中的计数、总和、平均值、最小值或最大值。 因此，大多数数据仓库尽量保留尽可能多的原始数据，并且只使用物化视图作为对某些常用查询的性能提升。 小结： 梳理了OLAP与数据仓库的联系，同时总结了几种在数据仓库种子常用的存储结构与对应的优化方式。
88230发布于 2018-09-05 - 来自专栏智能时刻
【数据仓库】现代数据仓库坏了吗？
数据仓库是现代数据堆栈的基础，所以当我们看到 Convoy 数据负责人 Chad Sanderson 在 LinkedIn 上宣称“数据仓库坏了”时，它引起了我们的注意。 不可变数据仓库如何结合规模和可用性 乍得桑德森的观点 现代数据堆栈有许多排列，但数据仓库是一个基础组件。 另一种方法：引入不可变数据仓库 不可变数据仓库概念（也称为活动 ETL）认为，仓库应该是通过数据来表示现实世界，而不是乱七八糟的随机查询、损坏的管道和重复信息。 #4 数据通过管道传输到合同中定义的预先建模的仓库。转换发生在消费层的上游（最好是在服务中）。然后，工程师在他们的服务中实施数据合同。 数据仓库：仓库主要用作“数据展示”和底层计算层。 3. 语义层：数据消费者构建经过验证并与业务共享的数据产品。语义层中的资产应该被定义、版本化、审查，然后通过 API 提供给应用层使用。 4.
2.3K20编辑于 2022-09-26 如何在4周内构建数据仓库，第2部分
我已经谈到了构建属于你自己的数据仓库需要采取的前两个步骤（请参阅：如何在4周内构建数据仓库，第1部分）。选择架构和DBMS是需要完成的第一件事情。 处理 有很多方法可以将事务数据库中的数据复制到DW（数据仓库）中。为了简单起见，假设我们每天运行一次作业来复制数据。但如果当时，我们的业务不能运行，那么事务数据库就没有被更新。 第二个ETL使用大量地转换将数据从暂存区复制到数据仓库。 让我们仔细看看这两种方法。 依靠一个人建立一个简单的数据仓库是可以在一个月内完成的任务。当然，它背后有很多理论（比如如何处理不同类型的规则等）。 从http://victorsavkin.com/post/9875068942/how-to-build-a-data-warehouse-in-4-weeks-part-2
1.3K60发布于 2018-05-31- 来自专栏智能大数据分析
数据仓库实验一：数据仓库建立实验
查看、编辑数据仓库的基本模型（即事实表与维度表之间的关系）。针对某一系统需求，从无到有设计一 个数据仓库基本架构，要求能够按不同维度进行多维数据查询分析。 四、实验步骤 为了简化起见，数据仓库采用星型模型。 1、维表设计 在 SSMS 中，设计如下 4 个维度表。 （2）为 Sales 事实表设置外键约束，使 Date_key，Cust_key，Locate_key，Prod_key 分别参照另外的 4 个维度表中的主键。 （4）多维数据集定义：通过定义多维数据集，建立了事实表与维度表之间的关联，实现了多维数据的存储和分析，满足了电商销售情况分析的各项需求。 总的来说，本次实验使我深入了解了数据仓库的建立方法和多维分析的基本过程，对于应用 SQL Server 进行数据仓库建模和多维分析项目开发有了更深入的理解和实践经验。
1.2K00编辑于 2025-01-22 - 来自专栏ellipse数据库技术
数据仓库
*了解数据仓库相关技术 *了解数据仓库设计过程建造，运行及维护 *了解OLAP及多维数据模型 决策支持系统及其演化 一般将数据分为：分析型数据与操作型数据 操作型数据：由企业的基本业务系统产生的数据 数据仓库的特性：面向主题性，集成性，不可更新和时间性。 集成：数据仓库最重要的特性，分为数据抽取转换，清理（过滤）和装载 不可更新：数据仓库中的数据以批量方式处理，不进行一般主义上的数据更新。 数据仓库的体系结构与环境 从数据层次角度的体系结构来看，典型的数据仓库的数据体系结构包括：操作型数据、操作型 数据存储、数据仓库、数据集市和个体层数据 从功能结构看，可分为数据处理、数据管理和数据应用三个层次 数据仓库的数据组织< 粒度、数据分割（分区）、元数据> 数据仓库的数据单位中保存数据的细化程度或综合程度的级别。 数据分区的方式可以分成系统层分区（数据库系统提供的机制）和应用层分区（由应用代码实现）两种 如何分区由开发者和程序员控制 元数据：对数据描述的数据 ODS分为4类： ODSⅠ：数据更新频率秒级。
2.4K40发布于 2019-09-12 - 来自专栏Spark学习技巧
数据仓库②-数据仓库与数据集市建模
本文将详细介绍数据仓库维度建模技术，并重点讨论三种基于ER建模/关系建模/维度建模的数据仓库总体建模体系：规范化数据仓库，维度建模数据仓库，以及独立数据集市。 4. 三种模式对比 归纳一下，星形模式/雪花模式/星座模式的关系如下图所示： ? 雪花模式是将星型模式的维表进一步划分，使各维表均满足规范化设计。而星座模式则是允许星形模式中出现多个事实表。 本例的主题是销售，而销量和销售额这两个指标最能直观反映销售情况； 4. 如何使用现有数据生成事实表？ 数据仓库建模体系之规范化数据仓库 所谓"数据仓库建模体系"，指的是数据仓库从无到有的一整套建模方法。最常见的三种数据仓库建模体系分别为：规范化数据仓库，维度建模数据仓库，独立数据集市。 数据仓库建模体系之维度建模数据仓库 非维度建模数据仓库(dimensionally modeled data warehouse)是一种使用交错维度进行建模的数据仓库，其总体架构如下图所示： ?
6.2K72发布于 2018-03-20 - 来自专栏全栈程序员必看
数据仓库ods层_app数据仓库搭建
数据仓库之ODS层搭建 我们本项目中对数据仓库每层的搭建主要分为两部分，第一部分是确定都有哪些表，第二部分是确定数据装载的方式。 partition(dt='$do_date'); " hive -e "$sql" （3）给该脚本增加权限 [root@hadoop102 bin]$ chmod +x hdfs_to_ods_log.sh （4） coupon_name` STRING COMMENT '购物券名称', `coupon_type` STRING COMMENT '购物券类型 1 现金券 2 折扣券 3 满减券 4 +%F` fi load_data(){ sql="" for i in $*; do #判断路径是否存在 hadoop fs -test -e /origin_data/$APP/db/${i:4} = 0 ]]; then sql=$sql"load data inpath '/origin_data/$APP/db/${i:4}/$do_date' OVERWRITE into table ${
3.5K30编辑于 2022-11-14 - 来自专栏智能大数据分析
【数据仓库与联机分析处理】数据仓库
4、反映历史变化是指数据仓库是从历史的角度提供信息，换句话说，数据仓库中的关键结构都会显式或者隐式地包含时间元素。 4、访问模式不同。OLTP系统的访问模式主要由短的原子事务所组成，既有读操作也有写操作，这种系统需要考虑事务管理、并发控制和故障恢复等机制。 4、数据应用 此层次直接面向用户，含数据查询工具、自由报表工具、数据分析工具、数据挖掘工具和各类应用系统。 （4）数据建模的范围界定，整个数据仓库项目的目标和阶段划分。 2、领域概念建模，这部分得建模工作，主要包含以下几个部分： （1）抽取关键业务概念，并将之抽象化。 （4）生成最后的执行脚本，并完善之。
1K00编辑于 2025-01-22 - 来自专栏数据饕餮
数据仓库专题（1）-数据仓库生命周期模型
一、前言 工作内容的变更，导致重新回到数据仓库模型的架构和设计，于是花点时间比较系统的回顾数据仓库建模和系统建设的知识体系，记录下来，作为笔记吧。 二、模型 无论数据仓库技术如何变化，从RDBMS到NoSQL,从传统技术到大数据，其实只是实现技术手段的变化，数据仓库建设生命周期的模式从来都不曾真正颠覆性改变过。向前辈致敬。 另外项目团度在招：资深的数据仓库模型设计师-工作地点北京，有感兴趣的可以把简历发给我吧。
2.2K20发布于 2019-01-14 - 来自专栏文渊之博
数据仓库建模
一、数据仓库建模的意义 如果把数据看作图书馆里的书，我们希望看到它们在书架上分门别类地放置；如果把数据看作城市的建筑，我们希望城市规划布局合理；如果把数据看作电脑文件和文件夹，我们希望按照自己的习惯有很好的文件夹组织方式 下图是个示例，通过统一数据模型，屏蔽数据源变化对业务的影响，保证业务的稳定，表述了数据仓库模型的一种价值： 二、数据仓库分层的设计 为了实现以上的目的，数据仓库一般要进行分层的设计，其能带来五大好处： 三、两种经典的数据仓库建模方法 前面的分层设计中你会发现有两种设计方法，关系建模和维度建模，下面分别简单介绍其特点和适用场景。 1、维度建模 （1）定义 维度模型是数据仓库领域另一位大师Ralph Kimball 所倡导的。 （3）优缺点 优点：技术要求不高，快速上手，敏捷迭代，快速交付；更快速完成分析需求，较好的大规模复杂查询的响应性能 缺点：维度表的冗余会较多，视野狭窄 2、关系建模 （1）定义 是数据仓库之父Inmon
1.8K31发布于 2020-06-19 - 来自专栏智能时刻
「数据仓库技术」怎么选择现代数据仓库
构建自己的数据仓库时要考虑的基本因素 ? 我们用过很多数据仓库。当我们的客户问我们，对于他们成长中的公司来说，最好的数据仓库是什么时，我们会根据他们的具体需求来考虑答案。 通常，他们需要几乎实时的数据，价格低廉，不需要维护数据仓库基础设施。在这种情况下，我们建议他们使用现代的数据仓库，如Redshift, BigQuery，或Snowflake。 大多数现代数据仓库解决方案都设计为使用原始数据。它允许动态地重新转换数据，而不需要重新摄取存储在仓库中的数据。 在这篇文章中，我们将深入探讨在选择数据仓库时需要考虑的因素。 因为这个存储层被设计成完全独立于计算资源的可伸缩性，它确保了可以毫不费力地为大数据仓库和分析实现最大的可伸缩性。 当数据量在1TB到100TB之间时，使用现代数据仓库，如Redshift、BigQuery或Snowflake。
6.5K31发布于 2020-09-17 - 来自专栏智能大数据分析
【数据仓库与联机分析处理】数据仓库工具Hive
Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。 Hive十分适合对数据仓库进行统计分析。 数据库可以用在 Online 的应用中，但是 Hive 是为数据仓库而设计的，清楚这一点，有助于从应用角度理解 Hive 的特性。 1、查询语言 由于 SQL 被广泛的应用在数据仓库中，因此，专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。 3、数据更新 由于 Hive 是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。因此，Hive中不建议对数据的改写，所有的数据都是在加载的时候确定好的。
1.1K10编辑于 2025-01-22 - 来自专栏大数据与知识图谱
数据仓库架构
结合自上而下的建设方法削弱需求变动对模型的影响 数据水平层次清晰化 3.高内聚松耦合 主题之内或各个完整意义的系统内数据的高内聚 主题之间或各个完整意义的系统间数据的松耦合 4. 针对性强，主要应用于数据仓库构建和OLAP引擎低层数据模型。 三、Kimball的DW/BI架构 将DW/BI环境划分为4个不同的部分：操作型源系统、ETL系统、数据展现和商业智能应用。 源事务：业务库或者日志等各个方面的数据源，一般不维护历史信息。 前台还包括像查询管理、活动监控等为了提供数据仓库的性能和质量的服务。 一致性维度 在多维体系结构中，没有物理上的数据仓库，由物理上的数据集市组合成逻辑上的数据仓库。而且数据集市的建立是可以逐步完成的，最终组合在一起，成为一个数据仓库。
2.5K20编辑于 2022-06-01 - 来自专栏大数据手册
数据仓库入门
什么是数据仓库（Data Warehouse，DW）？ 1991 年，数据仓库之父 Bill Inmon 在《Building the Data Warehouse》一书中，给出的定义： “数据仓库一个面向主题的、集成的、稳定的、随时间变化的数据的集合，以用于支持管理决策过程 建立数据仓库的目的是帮助企业高层系统地组织、理解和使用数据，以便进行战略决策。 数据仓库系统的体系结构 源数据层 源数据是数据仓库系统的基础，是整个系统的数据源泉。 数据存储与管理层 元数据 元数据是关于数据的数据，位于数据仓库的上层，用以描述数据仓库内数据的结构、位置和 建立方法。通过元数据进行数据仓库的管理和使用。 数据仓库 数据仓库中存放了企业的整体信息，而数据集市只存放了某个主题需要的的信息，其目的是 减少数据处理量。
2.3K20发布于 2020-02-25 - 来自专栏Hadoop数据仓库
维度模型数据仓库（三） —— 准备数据仓库模拟环境
（二）准备数据仓库模拟环境 上一篇说了很多数据仓库和维度模型的理论，从本篇开始落地实操，用一个小而完整的示例说明维度模型及其相关的ETL技术。 本篇详细说明数据仓库模拟实验环境搭建过程。 建立源数据数据库和数据仓库数据库 3. 建立源库表 4. 建立数据仓库表 5. 建立过渡表 6. 关于日期维度数据装载 日期维度在数据仓库中是一个特殊角色。日期维度包含时间，而时间是最重要的，因为数据仓库的主要功能之一就是存储历史数据，所以每个数据仓库里的数据都有一个时间特征。 使用这个方法，在数据仓库生命周期中，只需要预装载日期维度一次。也可以按需添加数据。
1.5K20编辑于 2022-12-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号