〔从零搭建〕数仓建模平台部署指南

🔥🔥 AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。

摘要：

AllData数据中台商业版集成开源项目Kylin，提供超大规模数据的实时分析与数仓建模能力。文章内容主要为以下四部分:

一、在线演示环境

二、功能简介

三、源码编译部署安装

四、访问数仓建模平台页面

🔹AllData数据中台线上正式环境：http://43.138.156.44:5173/ui_moat/

1、数仓建模平台基于开源项目kylin建设

AllData数据中台商业版集成Kylin后，提供超大规模数据的实时分析与数仓建模能力。通过Kylin的预计算技术，实现PB级数据的亚秒级查询响应，支持高并发多维分析场景。

系统内置分布式计算框架，可动态扩展资源，结合Kylin的列式存储与高效压缩算法，显著降低存储成本，适用于金融风控、零售精准营销等复杂数据分析需求。

Kylin项目地址：https://kylin.apache.org/zh-Hans/docs/overview

2、数仓建模平台功能特点

Apache Kylin的Web界面菜单功能丰富，以下列举了七点核心功能及其描述：

• 项目管理：创建和管理项目，定义数据源及存储位置
• 模型设计：构建数据模型，选择数据源表并定义维度与度量
• Cube构建：基于模型构建Cube，预计算多维数据集以加速查询
• Cube管理：监控Cube状态，执行构建、刷新、合并等操作
• 查询界面：输入SQL语句查询Cube，支持聚合函数与分组操作
• 可视化分析：提供透视表与图表工具，直观展示查询结果
• 任务监控：跟踪Cube构建及查询任务进度，查看执行日志

💡部署步骤：

1、源码获取

2、编译构建

💡安装scala插件：

💡安装JavaCC插件

• 安装插件完成后需要重启 IDEA
• Maven窗口勾选 SkipTests
• 安装 scala sdk

3、部署安装

3.1 环境准备：

• zookeep 3.6
• Hadoop 3.2.1
• hive 3.1.2
• mysql 5.7 或 8
• jdk 1.8

3.2 打包：

• 打包完成
• 部署包路径：dist/apache-kylin-5.0.2-bin.tar.gz

3.3 解压到服务器：

3.4 启动服务：

4、前端部署

• 编译

• 打包

1、数仓建模平台首页-智能分析

• 可自动挖掘数据价值，提供可视化洞察与精准决策支持。

2、智能分析-新增数据源

• 智能分析模块支持便捷新增数据源，可快速接入多类型数据，拓展分析维度与数据覆盖范围。

3、数仓建模平台-新建项目

• 支持一键新建项目，可自定义配置数据模型与指标，快速搭建个性化数据分析环境。

4、历史记录

• 自动记录操作历史，支持按时间、类型筛选查看，便于追溯修改轨迹与审计复盘。

5、历史记录-导出

6、数据资产-数据源

数据资产模块可集中管理数据源，支持多类型接入、元数据查看及权限灵活配置。

7、数据资产-数据源-新增数据源

8、数据资产-模型列表-新建模型

• 可自定义维度指标，快速构建适配业务场景的数据分析模型。

9、数据资产-快照-新建快照

• 支持在数据资产快照模块新建快照，可定时刻录数据状态，保障数据安全与历史版本回溯。

10、批处理

• AllData数仓建模平台依托Kylin，支持大规模批处理，可高效处理海量数据，实现批量分析与计算任务。

11、流式任务

• 支持实时流式任务处理，可高效捕获、分析动态数据流并即时响应。

12、设置-基础设置

• 基础设置模块，可配置系统参数、权限及数据连接，灵活适配多样化业务场景需求。

13、设置-高级设置

• 高级设置支持Kylin引擎调优、资源分配定制及复杂计算规则配置，满足精细化管控需求。

14、设置-内部表设置

• 内部表设置模块，可自定义表结构、索引及存储策略，优化Kylin底层数据组织与查询效率。

15、设置-模型设置

• 支持定义维度、指标及聚合方式，灵活适配Kylin模型，优化数据分析性能。

16、项目管理

• 支持多项目创建、权限分配与资源隔离，助力团队高效协作与数据资产管控。

17、项目管理-新建项目

18、用户

• 提供用户管理功能，支持角色分配、权限细控，保障不同用户安全访问Kylin相关数据资源。

19、用户-新建用户

20、用户组

• 支持用户组管理，可批量分配权限、资源，实现用户分类管控，提升Kylin数据操作协作效率

21、用户组-新建用户组

22、仪表盘

• 提供可视化图表，支持实时监控与交互式数据分析。