00:00
数据中台全链路数据处理能力演示2、通过数据源平台将企业的各个角落的业务数据登录到系统中,这里支持通过自然语言并关联数据表提问平台会自动转换成SQL语句,不用手写也可以快速查询,运行后得到查询结果,也可以用SQL语句进行更精确的查询。未经处理的数据往往口径不统一,在数据门户管理这里进行口径规范化,给后续质量校验提供校验基准和规则依据。在数据门户管理中,通过对数据表字段进行统一口径,这里可以更改字段的信息,在数据标准管理中,解决同名不同意或同意不同名的问题。
01:00
创建业务标准和数据关系,规定好数据类型、长度、取值范围等,创建完成后进行标准映射,完成数据标准治理。在数据模型管理中,将业务数据转化为标准统一、易于复用的规范化数据资产,从而直接支撑后续的物理建表和高效开发。最后,在数据质量平台中进行数据和规校验,发现不合规数据就告警提醒,从源头保证了数据质量校验细致到字段级,同时关联告警规则,发现问题及时告警,执行完成后,这里看到执行结果。在数据权限管理中,可以对用户角色进行精细化的权限划分。
02:00
细致到字段级的权限划分,注意完成设置后需要点击保持,然后刷新缓存才会生效。数据权限的设置完成后,在数据质量管理校验中会体现出不同,没授权的数据表或字段不会在选项中显示,在数据门户管理中,没有授权的数据表或字段不会显示在目录中。在数据集成平台中,点击数据管道创建同步任务,先选择原端需要同步的数据表并设置完成。目标端支持自动建表,适合整库获批量表的一次性迁移或初始化核对表映射后完成创建。在批量构建中,点击开始构建进行同步,这里显示成功同步。
03:00
打开数据源平台,查看目标端已经成功建表并同步数据。打开数据中枢平台的工作流,在左边选择组件拖拽到画面中进行设置。这里重点是在input输入组件的query中用SQL语句设置读取哪些表做分析,在output输出中设置数据写到哪里,完成后点击发布进行分析,完成后查看数据表已经成功写入分析数据。日常需要每日或每周定期分析数据时,通过离线开发平台进行处理。选择左边的组件拖拽到画面并按顺序连接对每个环节进行设置分析规则,完成后点击保存,在列表中点击上。
04:00
份运行,正式启动分析,在任务实例中查看工作流每个环节的运行状态,出现问题快速定位。分析完成后,在目标端设置的写入数据表中看到已经在设置环节的目标端数据表中写入数据。每天的实时预警分析需求可通过实时开发IDE进行,这里通过flink SQL语句设置实时分析规则。在运维中心可以查看实时分析运行状态,这里可以看到本次实时分析的数据表来源,还可以查看数据分析的血缘关系,为数据分析结果进行可靠性背书。现在返回数据源平台查看实时分析的结果表,这里可以看到哪些异常访问的需要重点关注。这三个分析平台的核心作用如下,用离线开发平台。
05:00
生成日、周、月固定报表,用实时开发IDE做实时监控与风控拦截,用数据中枢平台做灵活及时查询,随用随取。数据平台是负责提供数据分析的运维保障。这里可以看到主机的CPU、网络等资源情况,是底层资源节点。这里的服务组件给不同分析任务提供算例如离线开发跑P提供hive+Yan+HDFS组件进行参与,在API共享平台上将分析后的数据开放给外部访问。这里根据政务安全要求,仅开放部分字段信息,保护数据安全。设置完接口归属后,通过令牌密钥授权给应用访问数据,做到敏感数据不开放,安全合规。在数据指标平台创建数据模型并添加数据。
06:00
及标签、对象、术语等。打开指标检索,在指标详细页面可以自助式进行数据探查,这里可以看到数据指标的详细信息。在助理管理中,可创建AI业务助理,配置好大模型并关联业务,数据集完成后可通过自然语言进行提问分析。在数据可视化平台中,选择表进行转化成数据视图,这里选择一个表并预览表,数据确认无误后开始分析,将数据表中的字段拖拽到维度或指标中,根据业务类型选择适合的数据图标,然后保存即可完成。也可以用多表进行字段及关联进行数据可视化,这样数据分析更详细,设置完成维度和指标后,数据视图更详细,同部门或业务类型的数据视图可集中放着一个。
07:00
仪表板理,方便后续管理。平台还支持将数据导出成图片或PDF文档等格式,也可进行分享给其他部门或业务员使用。到这里已经完成数据从注册到治理以及灵活分析最后到智能应用的全链路的过程。平台还提供了数据后台管理,作为统一的用户权限管控与底层数据源监控,为全链路数据流转提供安全稳定的基础运维保障。奥铃数据库一体化版本依托微前端加可插拔架构,向下兼容国产软硬件,向上提供统一集成与治理入口。它核心解决底层数据库与上层应用的适配难题,具备信创深度适配、多元统一纳管、降低迁移运维门槛三大优势。奥林信创一体化版本是基于国产全占OS+CPU+DB的自主可控数据基座,它通过向下。
08:00
屏蔽底层差异,向上提供统一环境,打通了从硬件到软件的自主可控数据链路。该版本全面兼容OSCPU与国产DB通过多引擎融合,实现平滑迁移,并保障信创环境下的高性能与高稳定。
我来说两句