- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据湖
数据仓库实战 2
a1.channels.c2.kafka.bootstrap.servers = cdh1.macro.com:9092,cdh2.macro.com:9092,cdh2.macro.com:9092 副本数为2。 = 2000 a1.sources.r2.kafka.bootstrap.servers = cdh1.macro.com:9092,cdh2.macro.com:9092,cdh2.macro.com a1.channels.c2.dataDirs = /data0/apache-flume-1.9.0-bin/data/behavior2/ a1.channels.c2.maxFileSize = = c1 a1.sources.r2.channels = c2 a1.sinks.k2.channel= c2 启动flume消费kafka 在HDFS中创建origin_data目录 hadoop
57830发布于 2020-12-18 - 来自专栏智能大数据分析
数据仓库作业二：第2章 数据仓库原理
第2章 数据仓库原理 作业题 1、设数据集 A = \{1, 1, 3, 3, 4, 5, 5, 5, 6, 7, 7, 7, 9, 10, 12, 15\} ，请用等深分箱法将其分成 k=4 个箱子 8、数据仓库有哪几种逻辑模型？ （1）多维模型：若用纯多维数据库管理系统作为 DW 的管理平台，则多维数据模型既是数据仓库的概念模型，又是数据仓库的逻辑模型，而多维数据集都存储在多维数据库中。 9、位图索引是数据仓库的什么模型？ 位图索引是数据仓库中的物理模型，用于在数据仓库中进行快速的数据检索和查询。 在数据仓库中，维度表通常包含了大量的分类属性，如性别、地区、产品类型等。 通过位图索引，可以加速对维度属性的查询，提高数据仓库的性能和响应速度。
37900编辑于 2025-01-22 - 来自专栏Hadoop数据仓库
Greenplum 实时数据仓库实践（2）——数据仓库设计基础
示例 假设有一个连锁店的销售数据仓库，记录销售相关的日期、商店和产品，其星型模式如图2-3所示。 图2-4 雪花模式的销售数据仓库 下面所示的查询语句的结果等价于前面星型模式的查询，可以明显看到此查询比星型模式的查询有更多的表连接。 数据仓库需要集成很多操作型源系统中的数据。由于数据集市的复杂度和需要处理的数据都小于数据仓库，因此更容易建立与维护。表2-19总结了数据仓库与数据集市的主要区别。 2. 确定需求 数据仓库项目的需求可以分为业务需求和技术需求。 （1）定义业务需求 建立数据仓库的主要目的是为组织赋予从全局访问数据的能力。 （2）定义技术需求 数据仓库的数据来源是操作型系统，这些系统日复一日地处理着各种事务活动。操作型系统大都是联机事务处理系统。数据仓库会从多个操作型源系统抽取数据。
2.5K30编辑于 2021-12-07 - 来自专栏大数据-BigData
数据仓库与商业智能宝典第2版
基本介绍 作为数据仓库和商业智能（DW/BI）行业中有影响力的领军人物，RalphKimball、MargyRoss得到了世界范围内的认可和尊重，他们在《数据仓库与商业智能宝典（第1版）》中确立了行业标准 现在，在《数据仓库与商业智能宝典（第2版）成功设计、部署和维护DW/BI系统》中已经更新了65篇DesignTip和白皮书，从而汇集了DW/BI技术创新前沿的著作。 从项目规划和需求收集，到维度建模、ETL和BI应用，《数据仓库与商业智能宝典（第2版）：成功设计、部署和维护DW/BI系统》涵盖了你在数据仓库和商业智能中将会遇到的所有内容。 启动DW/BI项目和收集需求的注意事项 集成式企业数据仓库的必备要素，其中包括总线架构和矩阵 事实表的粒度性和三种基本类型 渐变维度技术 星型模式、外支架和桥接表 维度建模高级模式 提取、转换和加载（ETL）子系统与数据质量 BI应用实践 大数据注意事项 无论你正以何种身份参与数据仓库或商业智能项目，这本可轻易参考和最近更新的宝典可谓无价之宝。
61730编辑于 2022-12-31 - 来自专栏Spark学习技巧
数据仓库①：数据仓库概述
数据库和数据仓库有什么区别？ 2. 某大公司Hadoop Hive里的关系表不完全满足完整/参照性约束，也不完全满足范式要求，甚至第一范式都不满足。这种情况正常吗？ 一个公司往往会使用并维护若干个数据库，这些数据库保存着公司的日常操作数据，比如商品购买、酒店预订、学生成绩录入等； 2. 分析型数据库 主要用于历史数据分析。 2. 数据组成差别 - 数据细节层次差别 操作型数据库存放的主要是细节数据，而分析型数据库中虽然既有细节数据，又有汇总数据，但对于用户来说，重点关注的是汇总数据部分。 操作型数据库是为了支撑各种业务而建立，而分析型数据库则是为了对从各种繁杂业务中抽象出来的分析主题(如用户、成本、商品等)进行分析而建立； 2. 业务系统 业务系统包含各种源数据库，这些源数据库既为业务系统提供数据支撑，同时也作为数据仓库的数据源(注：除了业务系统，数据仓库也可从其他外部数据源获取数据)； 2.
4K72发布于 2018-03-20 - 来自专栏云数据库技术
数据库发展史2--数据仓库
早期MPP时代的数仓IBM DB2和Teradata是早期数仓理论的实践者，也是市场领导者。其中Teradata是MPP数仓最成功的商业产品，几乎是行业的天花板。 到了2009年9月，Exadata V2发布，采用了SUN的（此后MySQL也属于了Oracle），次年Oracle完成了SUN的收购。 在V2版本中，Exadata存储节点中首次采用了Flash卡，从而可以同时支持OLAP和OLTP类型的负载。有了高性能产品的同时也有了极其昂贵的价格。 著名的Conor O'Mahony(DB2的市场经理)罗列了使用一台全机架系统(full-rack)Exdata V2所需的费用列表：$1,150,000 硬件价格$1,680,000 存储服务器的软件价格 2012年，在Oracle公司工作十多年的2位程序员决心在云上建立一个数据仓库，于是诞生了Snowflake公司。它诞生的第一天，就有云计算的特点：存储与计算分离、按量付费、云中立。
1.7K30编辑于 2022-09-16 - 来自专栏区块链入门
【读书笔记】《 Hadoop构建数据仓库实践》第2章
02-《 Hadoop构建数据仓库实践》.jpg 第2章 数据仓库设计基础 2.1 关系数据模型 2.1.1 关系数据模型中的结构 6．关系表的属性 关系表有如下属性： ● 每个表都有唯一的名称。 5．示例 假设有一个连锁店的销售数据仓库，记录销售相关的日期、商店和产品，其星型模式如图2-3所示。 image.png 2.3 Data Vault模型 参考 （1）Data Vault 数据仓库模型构建-1 https://www.jianshu.com/p/df3684c20092 （2）Data 2．确定需求 数据仓库项目的需求可以分为业务需求和技术需求。 （1）定义业务需求 与业务人员进行面对面的沟通，是理解业务流程的好方式。沟通的结果是使数据仓库的业务需求更加明确。 在为数据仓库收集需求的过程中，还要考虑设计要能适应需求的变化。 （2）定义技术需求 需要知道如何清理操作型数据，如何移除垃圾数据，如何将来自多个源系统的相同数据整合在一起。
1.4K20编辑于 2022-05-13 - 来自专栏李珣
Service Manger R2数据仓库服务器安装
前文说道Service Manger管理服务器的部署过程，下面将继续介绍SCSM 2012 R2的另一个组件数据仓库服务器的部署过程 1、在 Service Manager 安装媒体上，双击“Setup.exe 2.在 Service Manager 安装媒体上，双击“Setup.exe”文件。 ? 2、在“产品注册”页上，在各个框中键入信息。 5、在“配置数据仓库数据库”页上，在“数据库服务器”框中键入将承载数据仓库数据库的物理计算机的计算机名称，当“SQL Server 实例”框中显示“默认”时，单击“下一步”。 7、在“配置数据仓库管理组”页上配置管理组，需要注意管理组名称必须唯一。 8、在“为数据仓库配置报表服务器”页上配置报表服务器 ?
83030发布于 2019-03-14 - 来自专栏大数据
数据仓库
在大数据与数据中台建设过程中，数据库与数据仓库的区别、数仓分层架构设计以及ETL与ELT的技术选型，是决定数据平台稳定性、扩展性与分析效率的关键基础，也是数据工程与数据分析必须理解的核心知识。 一、核心辨析：数据库vs数据仓库理解二者的区别是构建数据平台的起点。数据库与数据仓库虽然本质都是存储系统，但它们服务于完全不同的业务目标。 数据仓库(OLAP)-决策分析的大脑它存在的意义是支撑管理层的宏观决策。数据仓库汇聚了全量历史数据，这些数据经过清洗与集成，按主题域（如销售、财务、供应链）进行组织。 二、架构设计：数据分层的艺术如果把数据仓库比作一个工厂，直接加工原材料会导致生产混乱。因此，分层架构是现代数仓不仅清晰可控且易于维护的关键。1.ODS层(数据引入层)：这是数仓的缓冲区。 2.DWD层(明细中间层)：这是数仓的地基。我们需要在此对数据进行清洗与标准化，比如统一字典值、剔除脏数据。更重要的是，这里会构建公共维度模型，确保全公司使用同一套数据语言。
23331编辑于 2026-03-20 - 来自专栏chaplinthink的专栏
数据仓库
指标分级方法 T1 公司战略层面指标 T2 业务策略层面指标 T3 业务执行层面指标 OSM模型 O 业务目标 S 业务策略 M 业务度量 建模 维度建模的模式: 星型模型:
86420编辑于 2023-10-16 - 来自专栏智能时刻
【数据仓库】现代数据仓库坏了吗？
数据仓库是现代数据堆栈的基础，所以当我们看到 Convoy 数据负责人 Chad Sanderson 在 LinkedIn 上宣称“数据仓库坏了”时，它引起了我们的注意。 不可变数据仓库如何结合规模和可用性 乍得桑德森的观点 现代数据堆栈有许多排列，但数据仓库是一个基础组件。 另一种方法：引入不可变数据仓库 不可变数据仓库概念（也称为活动 ETL）认为，仓库应该是通过数据来表示现实世界，而不是乱七八糟的随机查询、损坏的管道和重复信息。 #2 数据消费者预先定义他们的需求并创建合同。也许最有争议的租户是数据应该从业务需求中冒出来，而不是从非结构化管道中涓涓细流。 2. 数据仓库：仓库主要用作“数据展示”和底层计算层。 3. 语义层：数据消费者构建经过验证并与业务共享的数据产品。语义层中的资产应该被定义、版本化、审查，然后通过 API 提供给应用层使用。 4.
2.3K20编辑于 2022-09-26 - 来自专栏ellipse数据库技术
数据仓库
*了解数据仓库相关技术 *了解数据仓库设计过程建造，运行及维护 *了解OLAP及多维数据模型 决策支持系统及其演化 一般将数据分为：分析型数据与操作型数据 操作型数据：由企业的基本业务系统产生的数据 数据仓库的特性：面向主题性，集成性，不可更新和时间性。 集成：数据仓库最重要的特性，分为数据抽取转换，清理（过滤）和装载 不可更新：数据仓库中的数据以批量方式处理，不进行一般主义上的数据更新。 数据仓库的体系结构与环境 从数据层次角度的体系结构来看，典型的数据仓库的数据体系结构包括：操作型数据、操作型 数据存储、数据仓库、数据集市和个体层数据 从功能结构看，可分为数据处理、数据管理和数据应用三个层次 数据仓库的数据组织< 粒度、数据分割（分区）、元数据> 数据仓库的数据单位中保存数据的细化程度或综合程度的级别。 细化程度越高，粒度越小 粒度影响到数据仓库的数据量及系统能回答的查询的类型 进行数据仓库的数据组织时，应根据当前应用的需求进行多粒度级设计。满足多角度，多层次数据查询要求。
2.4K40发布于 2019-09-12 - 来自专栏智能大数据分析
数据仓库实验一：数据仓库建立实验
一、实验目的 通过本实验，掌握在Sql Server（2012 或 2008 R2以上版本）中通过 Analysis Services 建立数据仓库的方法。 查看、编辑数据仓库的基本模型（即事实表与维度表之间的关系）。针对某一系统需求，从无到有设计一 个数据仓库基本架构，要求能够按不同维度进行多维数据查询分析。 （2）为 Sales 事实表设置外键约束，使 Date_key，Cust_key，Locate_key，Prod_key 分别参照另外的 4 个维度表中的主键。 （2）数据源视图定义：通过定义数据源视图，实现了对数据源的抽象和简化，使得在多维分析项目中能够更方便地使用数据。 总的来说，本次实验使我深入了解了数据仓库的建立方法和多维分析的基本过程，对于应用 SQL Server 进行数据仓库建模和多维分析项目开发有了更深入的理解和实践经验。
1.2K00编辑于 2025-01-22 - 来自专栏区块链入门
数据仓库、数据湖、数据中台一文读懂【2】
2） 技术选型。 根据数据摸底的情况，确定数据湖建设的技术选型。 2） 都内置了对于OSS的访问支持。OSS直接作为DLA的原生存储存在；对于ADB而言，可以通过外部表的能力，很方便的访问OSS上的结构化数据。 在广告行业，流量高峰时常出现，瞬间的点击量可能达到数万，甚至数十万，这就要求系统具备非常好的可扩展性以快速响应和处理每一次点击 2） 如何实现对海量数据的实时分析。 2） 要有足够的性价比。 2） 分析模型化能力。数据湖中不仅仅有原始数据，还有埋点数据的模型（schema）。
1.6K30编辑于 2022-03-23 - 来自专栏数据饕餮
数据仓库专题（2）-Kimball维度建模四步骤
一、前言 四步过程维度建模由Kimball提出，可以做为业务梳理、数据梳理后进行多维数据模型设计的指导流程，但是不能作为数据仓库系统建设的指导流程。本文就相关流程及核心问题进行解读。 二、数据仓库建设流程 以下流程是根据业务系统、组织结构、团队结构现状设定的数据仓库系统建设流程，适合系统结构复杂，团队协作复杂，人员结构复杂的情况，并且数据仓库建设团队和业务系统建设团队不同的情况。 图1 数据仓库系统建设流程 三、四步维度建模 Kimball四步建模流程适合上述数据仓库系统建设流程中模型设计环节，重点解决数据粒度、维度设计和事实表设计问题。四步建模流程如下图所示： ? 四、未完待续 数据仓库专题作为项目笔记，持续更新中，敬请关注。
1.8K40发布于 2019-01-14 - 来自专栏Spark学习技巧
数据仓库②-数据仓库与数据集市建模
2. 事实表(fact table) 表示对分析主题的度量。比如上面那个例子中，200元就是事实信息。事实表包含了与各维度表相关联的外码，并通过JOIN方式与维度表关联。 以事实表为核心，维表围绕核心呈星形分布； 2. 雪花模式 雪花模式(Snowflake Schema)是对星形模式的扩展，每个维表可继续向外连接多个子维表。 本例中，根据产品(PRODUCT)、顾客(CUSTOMER)、商店(STORE)、日期(DATE)对销售额进行分析是非常有帮助的； 2. 如何使用现有数据生成维表？ a. 维表不满足规范化设计(不满足3NF)；2. 事实表也不满足规范化设计(1NF都不满足)； 3. 之后新的数据仓库维度建模结果如下： ? 2.
6.2K72发布于 2018-03-20 - 来自专栏全栈程序员必看
数据仓库ods层_app数据仓库搭建
数据仓库之ODS层搭建 我们本项目中对数据仓库每层的搭建主要分为两部分，第一部分是确定都有哪些表，第二部分是确定数据装载的方式。 ，供可视化使用', `iso_3166_2` STRING COMMENT '新版IOS-3166-2编码，供可视化使用' ) COMMENT '省份表' PARTITIONED BY ,split_activity_amount :DECIMAL(16, 2),split_coupon_amount :DECIMAL(16, 2)> COMMENT :DECIMAL(16, 2),freight_fee_reduce :DECIMAL(16, 2),refundable_time :DECIMAL(16, 2)> COMMENT '数据', /bin/bash APP=gmall if [ -n "$2" ] ;then do_date=$2 else do_date=`date -d '-1 day' +%F` fi load_data
3.5K30编辑于 2022-11-14 - 来自专栏智能大数据分析
【数据仓库与联机分析处理】数据仓库
2、集成是指通常构建数据仓库会将多个异构的数据源，如关系数据库、一般的文件和事务处理记录等集成在一起，这就需要使用数据清理和数据集成技术，来确保命名约定、编码结构和属性度量等的一致性。 2、数据存储和管理 此层次主要涉及对数据的存储和管理，含数据仓库、数据仓库检测、运行与维护工具和元数据管理等。 （2）无法处理不同类型的数据，传统数据仓库只能处理和存储结构化数据。随着应用需求的发展，数据的格式越来越丰富，半结构化、非结构化数据所占比重越来越大，处理需求越来越迫切。 （2）深入了解各个业务部门内的具体业务流程并将其程序化。 （3）提出修改和改进业务部门工作流程的方法并程序化。 （4）数据建模的范围界定，整个数据仓库项目的目标和阶段划分。 2、领域概念建模，这部分得建模工作，主要包含以下几个部分： （1）抽取关键业务概念，并将之抽象化。 （2）将业务概念分组，按照业务主线聚合类似的分组概念。
1K00编辑于 2025-01-22 - 来自专栏数据饕餮
数据仓库专题（1）-数据仓库生命周期模型
一、前言 工作内容的变更，导致重新回到数据仓库模型的架构和设计，于是花点时间比较系统的回顾数据仓库建模和系统建设的知识体系，记录下来，作为笔记吧。 二、模型 无论数据仓库技术如何变化，从RDBMS到NoSQL,从传统技术到大数据，其实只是实现技术手段的变化，数据仓库建设生命周期的模式从来都不曾真正颠覆性改变过。向前辈致敬。 另外项目团度在招：资深的数据仓库模型设计师-工作地点北京，有感兴趣的可以把简历发给我吧。
2.2K20发布于 2019-01-14 - 来自专栏文渊之博
数据仓库建模
下图是个示例，通过统一数据模型，屏蔽数据源变化对业务的影响，保证业务的稳定，表述了数据仓库模型的一种价值： 二、数据仓库分层的设计 为了实现以上的目的，数据仓库一般要进行分层的设计，其能带来五大好处： 1、维度建模 （1）定义 维度模型是数据仓库领域另一位大师Ralph Kimball 所倡导的。 （2）建模方法 通常需要选择某个业务过程，然后围绕该过程建立模型，其一般采用自底向上的方法，从明确关键业务过程开始，再到明确粒度，再到明确维度，最后明确事实，非常简单易懂。 （3）优缺点 优点：技术要求不高，快速上手，敏捷迭代，快速交付；更快速完成分析需求，较好的大规模复杂查询的响应性能 缺点：维度表的冗余会较多，视野狭窄 2、关系建模 （1）定义 是数据仓库之父Inmon 2、数据及关系的理解：各个域的系统建设的时候没有统一文档和规范，要梳理出逻辑模型不容易，比如运营商的事件主题下的逻辑模型就非常复杂。
1.8K31发布于 2020-06-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号