首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Deep learning进阶路

    2-7 顺序表 和 链表 对比

    2-7 顺序表 和 链表 对比 1、存储结构的不同 虽然它们同属于线性表,但数据的存储结构有本质的不同: 顺序表存储数据,需预先申请一整块足够大的存储空间,然后将数据按照次序逐一存储,逻辑关系就是靠元素间物理空间上的邻接关系来维持

    43920发布于 2019-07-02
  • 来自专栏Hank’s Blog

    2-7 R语言基础 数据框

    > df <- data.frame(id=c(1,2,3,4),name=c("a","b","c","d"),gender=c(TRUE,TRUE,FALSE,FALSE)) > nrow(df) #4行 [1] 4

    37320发布于 2020-09-16
  • 来自专栏嵌入式音视频

    2-7 输入圆的半径,计算其周长与面积

    预览图如下 #include<stdio.h> int main() { int r; printf("请输入r:"); scanf("%d",&r); { if(r>0) {printf("面积是:%f\n",3.14159*r*r); printf("周长是:%f\n",2*3.14159*r);} else printf("输入的r不合法!\n"); } return 0; }

    63930编辑于 2022-12-01
  • 来自专栏Spark学习技巧

    数据仓库①:数据仓库概述

    ~这就是关于数据仓库最贴切的定义了。事实上数据仓库不应让传统关系数据库来实现,因为关系数据库最少也要求满足第1范式,而数据仓库里的关系表可以不满足第1范式。 有了这些数据快照以后,用户便可将其汇总,生成各历史阶段的数据分析报告; 数据仓库组件 数据仓库的核心组件有四个:各源数据库,ETL,数据仓库,前端应用。如下图所示: ? 1. 前端应用 和操作型数据库一样,数据仓库通常提供具有直接访问数据仓库功能的前端应用,这些应用也被称为BI(商务智能)应用; 数据集市(data mart) 数据集市可以理解为是一种"小型数据仓库",它只包含单个主题 当用户或者应用程序不需要/不必要不允许用到整个数据仓库的数据时,非独立数据集市就可以简单为用户提供一个数据仓库的"子集"。 数据仓库开发流程 在数据库系列的第五篇 中,曾详细分析了数据库系统的开发流程。数据仓库的开发流程和数据库的比较相似,因此本文仅就其中区别进行分析。 下图为数据仓库的开发流程: ?

    4K72发布于 2018-03-20
  • 来自专栏刷题笔记

    2-7 一元多项式求导 (20 分)

    本文链接:https://blog.csdn.net/shiliang97/article/details/101025651 2-7 一元多项式求导 (20 分) 设计函数求一元多项式的导数。

    82620发布于 2019-11-08
  • 来自专栏大数据

    数据仓库

    在大数据与数据中台建设过程中,数据库与数据仓库的区别、数仓分层架构设计以及ETL与ELT的技术选型,是决定数据平台稳定性、扩展性与分析效率的关键基础,也是数据工程与数据分析必须理解的核心知识。 一、核心辨析:数据库vs数据仓库理解二者的区别是构建数据平台的起点。数据库与数据仓库虽然本质都是存储系统,但它们服务于完全不同的业务目标。 数据仓库(OLAP)-决策分析的大脑它存在的意义是支撑管理层的宏观决策。数据仓库汇聚了全量历史数据,这些数据经过清洗与集成,按主题域(如销售、财务、供应链)进行组织。 二、架构设计:数据分层的艺术如果把数据仓库比作一个工厂,直接加工原材料会导致生产混乱。因此,分层架构是现代数仓不仅清晰可控且易于维护的关键。1.ODS层(数据引入层):这是数仓的缓冲区。 四、总结构建现代数据仓库,本质上是在成本、效率与质量之间寻找平衡。从数据库与数仓的职能分离,到分层架构的逻辑解耦,再到ETL向ELT的演进,这一系列技术选择都旨在更好地服务于数据的价值变现。

    23331编辑于 2026-03-20
  • 来自专栏chaplinthink的专栏

    数据仓库

    海盗指标法(AARRR海盗模型) 它反映了增长是系统性地贯穿于用户生命周期各个阶段的:用户拉新(Acquisition)、用户激活(Activation)、用户留存(Retention)、商业变现(Revenue)、用户推荐(Referral)

    86420编辑于 2023-10-16
  • 来自专栏智能时刻

    数据仓库】现代数据仓库坏了吗?

    数据仓库是现代数据堆栈的基础,所以当我们看到 Convoy 数据负责人 Chad Sanderson 在 LinkedIn 上宣称“数据仓库坏了”时,它引起了我们的注意。 我会让您自己决定“不可变数据仓库”(或主动与被动 ETL)是否适合您的数据团队。 不可变数据仓库如何结合规模和可用性 乍得桑德森的观点 现代数据堆栈有许多排列,但数据仓库是一个基础组件。 另一种方法:引入不可变数据仓库 不可变数据仓库概念(也称为活动 ETL)认为,仓库应该是通过数据来表示现实世界,而不是乱七八糟的随机查询、损坏的管道和重复信息。 不可变数据仓库也面临挑战。以下是一些可能的解决方案。 我并不认为不可变数据仓库是灵丹妙药。与任何方法一样,它也有其优点和缺点,而且肯定不是每个组织都适用。

    2.3K20编辑于 2022-09-26
  • 来自专栏cwl_Java

    C++编程之美-数字之魅(代码清单2-7)

    代码清单2-7 int lowestOne(int N) { int Ret = 0; while(N) { N >>= 1; Ret

    22320编辑于 2022-11-30
  • 来自专栏ellipse数据库技术

    数据仓库

    *了解数据仓库相关技术 *了解数据仓库设计过程建造,运行及维护 *了解OLAP及多维数据模型 决策支持系统及其演化 一般将数据分为:分析型数据与操作型数据 操作型数据:由企业的基本业务系统产生的数据 数据仓库的特性:面向主题性,集成性,不可更新和时间性。 集成:数据仓库最重要的特性,分为数据抽取转换,清理(过滤)和装载 不可更新:数据仓库中的数据以批量方式处理,不进行一般主义上的数据更新。 数据仓库的体系结构与环境 从数据层次角度的体系结构来看,典型的数据仓库的数据体系结构包括:操作型数据、操作型 数据存储、数据仓库、数据集市和个体层数据 从功能结构看,可分为数据处理、数据管理和数据应用三个层次 数据仓库的数据组织< 粒度、数据分割(分区)、元数据> 数据仓库的数据单位中保存数据的细化程度或综合程度的级别。 细化程度越高,粒度越小 粒度影响到数据仓库的数据量及系统能回答的查询的类型 进行数据仓库的数据组织时,应根据当前应用的需求进行多粒度级设计。满足多角度,多层次数据查询要求。

    2.4K40发布于 2019-09-12
  • 来自专栏智能大数据分析

    数据仓库实验一:数据仓库建立实验

    查看、编辑数据仓库的基本模型(即事实表与维度表之间的关系)。针对某一系统需求,从无到有设计一 个数据仓库基本架构,要求能够按不同维度进行多维数据查询分析。 六、实验总结体会   数据仓库的设计过程需要充分理解业务需求和数据特点,结合具体业务场景进行建模。 在本实验中,针对电商销售情况分析的需求,采用了星型模型来设计数据仓库的维度表和事实表,这样的设计能够简洁清晰地反映业务事件的关联关系。   在数据仓库的设计中,维度表的设计尤为重要。 通过定义数据源、数据源视图、维表、多维数据集等,完成了数据仓库的搭建和多维分析项目的部署。    总的来说,本次实验使我深入了解了数据仓库的建立方法和多维分析的基本过程,对于应用 SQL Server 进行数据仓库建模和多维分析项目开发有了更深入的理解和实践经验。

    1.2K00编辑于 2025-01-22
  • 来自专栏Spark学习技巧

    数据仓库②-数据仓库与数据集市建模

    前言 数据仓库建模包含了几种数据建模技术,除了之前在数据库系列中介绍过的ER建模和关系建模,还包括专门针对数据仓库的维度建模技术。 本文将详细介绍数据仓库维度建模技术,并重点讨论三种基于ER建模/关系建模/维度建模的数据仓库总体建模体系:规范化数据仓库,维度建模数据仓库,以及独立数据集市。 数据仓库建模体系之规范化数据仓库 所谓"数据仓库建模体系",指的是数据仓库从无到有的一整套建模方法。最常见的三种数据仓库建模体系分别为:规范化数据仓库,维度建模数据仓库,独立数据集市。 很多书将它们称为"数据仓库建模方法",但笔者认为数据仓库建模体系更能准确表达意思,请允许我自作主张一次吧:)。下面首先来介绍规范化数据仓库数据仓库建模体系之维度建模数据仓库 非维度建模数据仓库(dimensionally modeled data warehouse)是一种使用交错维度进行建模的数据仓库,其总体架构如下图所示: ?

    6.2K72发布于 2018-03-20
  • 来自专栏全栈程序员必看

    数据仓库ods层_app数据仓库搭建

    数据仓库之ODS层搭建 我们本项目中对数据仓库每层的搭建主要分为两部分,第一部分是确定都有哪些表,第二部分是确定数据装载的方式。

    3.5K30编辑于 2022-11-14
  • 来自专栏智能大数据分析

    数据仓库与联机分析处理】数据仓库

    一、数据仓库的概念 目前很难给数据仓库(Data Warehouse)一个严格的定义,不准确地说,数据仓库也是一种数据库,它与操作性数据库进行分开维护。 1、面向主题是指数据仓库会围绕一些主题来组织和构建,如顾客、供应商、产品等,数据仓库关注决策者的数据建模与分析,而不是企业的日常操作和事务处理,因此,数据仓库排除对决策支持过程无用的数据,提供面向特定主题的视图 3、相对稳定是指数据仓库大多会分开存放数据,数据仓库不需要进行事务处理、数据恢复和并发控制等机制,通常数据仓库只需要两种数据访问操作:数据的初始化装入和数据的访问。 4、反映历史变化是指数据仓库是从历史的角度提供信息,换句话说,数据仓库中的关键结构都会显式或者隐式地包含时间元素。 二、数据仓库与操作性数据库的区别 为了进一步加深对数据仓库概念的理解,我们把数据库系统和数据仓库进行对比。为了区分,这里把数据库系统称为操作性数据库。

    1K00编辑于 2025-01-22
  • 来自专栏Hadoop数据仓库

    维度模型数据仓库(七) —— 按需装载

    所谓“按需装载”指的是,在正常调度之外,当源数据有效时或者数据仓库需要时进行装载。例如,促销销售源数据只有在促销期内有效,而在其它时间是无效的。         在“准备数据仓库模拟环境”中讨论的“生成日期维度数据”可以看做是一种按需装载。数据仓库预先装载了日期,当日期用完时,需要再次运行预装载。         示例假设只需要装载今后新的促销数据,而在数据仓库中不需要促销期的历史数据。         使用Kettle步骤装载促销期很容易,不需要使用过渡表,只要三个步骤即可,如图(五)- 2-2到(五)- 2-7所示。 COMMIT ; 清单(五)-2-2 图(五)- 2-2 图(五)- 2-3 图(五)- 2-4 图(五)- 2-5 图(五)- 2-6 图(五)- 2-

    69110编辑于 2022-12-02
  • 来自专栏数据饕餮

    数据仓库专题(1)-数据仓库生命周期模型

    一、前言 工作内容的变更,导致重新回到数据仓库模型的架构和设计,于是花点时间比较系统的回顾数据仓库建模和系统建设的知识体系,记录下来,作为笔记吧。 二、模型 无论数据仓库技术如何变化,从RDBMS到NoSQL,从传统技术到大数据,其实只是实现技术手段的变化,数据仓库建设生命周期的模式从来都不曾真正颠覆性改变过。向前辈致敬。 另外项目团度在招:资深的数据仓库模型设计师-工作地点北京,有感兴趣的可以把简历发给我吧。

    2.2K20发布于 2019-01-14
  • 来自专栏文渊之博

    数据仓库建模

    一、数据仓库建模的意义 如果把数据看作图书馆里的书,我们希望看到它们在书架上分门别类地放置;如果把数据看作城市的建筑,我们希望城市规划布局合理;如果把数据看作电脑文件和文件夹,我们希望按照自己的习惯有很好的文件夹组织方式 下图是个示例,通过统一数据模型,屏蔽数据源变化对业务的影响,保证业务的稳定,表述了数据仓库模型的一种价值: 二、数据仓库分层的设计 为了实现以上的目的,数据仓库一般要进行分层的设计,其能带来五大好处: 三、两种经典的数据仓库建模方法 前面的分层设计中你会发现有两种设计方法,关系建模和维度建模,下面分别简单介绍其特点和适用场景。 1、维度建模 (1)定义 维度模型是数据仓库领域另一位大师Ralph Kimball 所倡导的。 (3)优缺点 优点:技术要求不高,快速上手,敏捷迭代,快速交付;更快速完成分析需求,较好的大规模复杂查询的响应性能 缺点:维度表的冗余会较多,视野狭窄 2、关系建模 (1)定义 是数据仓库之父Inmon

    1.8K31发布于 2020-06-19
  • 来自专栏智能时刻

    数据仓库技术」怎么选择现代数据仓库

    构建自己的数据仓库时要考虑的基本因素 ? 我们用过很多数据仓库。当我们的客户问我们,对于他们成长中的公司来说,最好的数据仓库是什么时,我们会根据他们的具体需求来考虑答案。 通常,他们需要几乎实时的数据,价格低廉,不需要维护数据仓库基础设施。在这种情况下,我们建议他们使用现代的数据仓库,如Redshift, BigQuery,或Snowflake。 大多数现代数据仓库解决方案都设计为使用原始数据。它允许动态地重新转换数据,而不需要重新摄取存储在仓库中的数据。 在这篇文章中,我们将深入探讨在选择数据仓库时需要考虑的因素。 因为这个存储层被设计成完全独立于计算资源的可伸缩性,它确保了可以毫不费力地为大数据仓库和分析实现最大的可伸缩性。 当数据量在1TB到100TB之间时,使用现代数据仓库,如Redshift、BigQuery或Snowflake。

    6.5K31发布于 2020-09-17
  • 来自专栏智能大数据分析

    数据仓库与联机分析处理】数据仓库工具Hive

    Hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。 Hive十分适合对数据仓库进行统计分析。 数据库可以用在 Online 的应用中,但是 Hive 是为数据仓库而设计的,清楚这一点,有助于从应用角度理解 Hive 的特性。 1、查询语言 由于 SQL 被广泛的应用在数据仓库中,因此,专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。 3、数据更新 由于 Hive 是针对数据仓库应用设计的,而数据仓库的内容是读多写少的。因此,Hive中不建议对数据的改写,所有的数据都是在加载的时候确定好的。

    1.1K10编辑于 2025-01-22
  • 来自专栏大数据手册

    数据仓库入门

    什么是数据仓库(Data Warehouse,DW)? 1991 年,数据仓库之父 Bill Inmon 在《Building the Data Warehouse》一书中,给出的定义: “数据仓库一个面向主题的、集成的、稳定的、随时间变化的数据的集合,以用于支持管理决策过程 建立数据仓库的目的是帮助企业高层系统地组织、理解和使用数据,以便进行战略决策。 数据仓库系统的体系结构 源数据层 源数据是数据仓库系统的基础,是整个系统的数据源泉。 数据存储与管理层 元数据 元数据是关于数据的数据,位于数据仓库的上层,用以描述数据仓库内数据的结构、位置和 建立方法。通过元数据进行数据仓库的管理和使用。 数据仓库 数据仓库中存放了企业的整体信息,而数据集市只存放了某个主题需要的的信息,其目的是 减少数据处理量。

    2.3K20发布于 2020-02-25
领券