AIIData数据中台全链路数据处理能力演示（一）原创

数据中台全链路数据处理能力演示业务数据接入系统后，通过数据门户管理，统一数据口径，让数据变得可查、可见、可懂。用数据标准管理统一业务规范，这里通过手动校准建立对应关系，为后续质量校验做铺垫。在数据质量平台中校验脏数据，如这里校验数据是否有空值，质量校验可以具体到数据表的字段级，还可以设置定时校验以及关联告警，这里显示的是当前没有检查出有空值，这里是校验规则，关联的告警规则管理可以。

设置告警类型以及触发告警时通过邮箱通知谁。用数据模型管理快速创建业务逻辑数据模型，这里统一了基础字段，将字段的口径就统一了，从源头上阻断了脏数据的产生。在数据权限管理中，可以对用户角色访问数据权限统一设置管理，这里显示当前所遇数据库以及数据表字段信息。数据权限细分到数据库、数据表以及字段设置。注意设置完成后，点击保持后需要刷新缓存。权限设置在数据门户管理中，数据目录显示差异。权限管理关闭的数据表和字段，在目录列表和字段详细中不会显示。权限设置在数据质量平台中的数据校验规则显示差异。

权限管理关闭的数据表和字段在选择下拉选项中不会显示。完成数据治理后，现在开始数据同步业务。数据注册后进行数据同步，先快速检查源端需要同步的数据表情况，进行同步，先在目标端进行创建数据表，现在打开数据集成平台，检查数据源连接是否正常以及创建同步项目。在任务模板中创建能重复使用的同步模板，模板划分了项目归属和自动同步时间。现在正式进行多表同步，先选择源端需要同步的这三个表，然后勾选对应的目标端数据库，让数据同步到这里。现在进行数据表映射，这里选择同步模板，将多表同步归属对应项目以及应用同步模板的设置点。

击批量创建同步任务后就完成了，返回任务详细列表查看任务，点击执行一次，可以马上手动进行同步。同步运行提示成功执行后，打开运行日志查看同步详细，这里可以看到每个数据表成功同步了多少条数据，耗时多久等同步信息。现在打开目标端查看三个表，数据已经一字不差的全量同步。过去在数据平台中，通过将主机和服务打包到一个个集群里进行运维算力划分，这里管理该集群运行算力的主机还可以新增主机给集群添加算力，在服务管理这里可以查看集群的服务组件当前试用情况。当数据。

与集成管理同步任务提交后，这里服务组开始分配谁派活，谁干活，谁收货，告警组管理详细的告警规则，做到盯住哪个数超过什么线就通知谁，还可以进行租户管理，进行划分专属系统账号。现在用离线开发平台做日常业务的批量分析，在左边选择组件拖拽到操作区中，然后按顺序连接流程，并设置每个环境的分析规则，选择运行环境以及设置同步规则，完成后点击上线运行。在任务实例中可以看到已经自动根据环节分析数据，这里可以看到每个环节的运行状态，方便定位问题。现在来看离线分析，一流程下来，最后在S层的数据表。

经过分析后得到得到S层的数据，现在通过运行实时Flint SQL语句来进行实时开发分析，这里通过power plantnk DB数据库的煤矿日产量汇总和电厂日消耗数据来进行煤矿电厂供需日度监控分析。运行完成后，在运行中心查看运行状态，查看运行详细，这里可以清晰看到整个分析过程，通过哪些数据表，怎么关联分析，最后得到什么表，清晰明了，还可以查看SQL血缘关系，让数据分析来源可靠安全。分析完成后，打开数据源平台，查看实时分析结果表，这里实时分析后可以查看各煤矿的煤炭产量与电厂消耗量之间的供需对比，监控数据包括缺口大小、状态及近期趋势。

完成分析后的数据用API共享平台可安全合规提供给第三方访问。在这里先创建对应的模块和分组，在接口配置新建接口，在接口配置新建接口，并设置可以调用查看什么数据信息，这里设置了可以查看电厂的I业务规模等基础信息，但是敏感经营数据以及供应链数据不开放查看。这里设置接口怎么返回数据以及所属分组和业务模块。通过令牌给第三方发放身份通行证，通过客户应用给应用划定的能调哪些接口，两者结合控制第三方安全调用。在数据可视化平台，通过用离线分析矿井阅读分析汇总表，关联火电数据库的采购合同表和运输执行表。

关联分析并可视化，通过字段及关联分析更精准预览关联数据没问题后开始分析，这里通过拖拽左边3个关联数据表的字段，设置成维度和指标，根据业务类型选择数据视图类型，系统支持多种格式导出使用，如果有同业务的数据视图，可以放在一个仪表板理，方便管理。至此，数据从治理、分析、智能应用的全流程已完成。在数据全流程贯通的基础上，平台配套了功能完善的后台管理系统，通过权限、安全与运维的统一管控，让数据流程不仅走得通，更实现管得住，可追溯，更省心。平台已经全面完成了全站信创适配。为了应对。

对不同单位机房的硬件差异，不仅支持传统的开源数据库，还针对国产操作系统、国产芯片、国产数据库进行了交叉验证，形成了三套标准化的信创一体化交付方案。平台不仅支持传统的开源数据库，还推出了国产数据库一体化版本。平台底层已经与达梦DM、人大金仓、king base ocean base ti DB等主流国产数据库完成了深度适配和性能调优，企业可以一键无缝切换底层存储，所有的数据集成、离线开发、模型构建和API服务均能在纯国产数据库环境下稳定运行了，满足全面信创的要求。平台提供信创一体化版本，这意味着平台从底层的CPU如鲲鹏、飞腾、海光，操作系统如通信uos、麒麟、中间键一直到上层的应用，实现了全站性创兼。

同，如果是涉密或要求完全私有化部署的单位，还支持全离线环境安装，确保数据不出域，绝对安全。