温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
数据集成管理hive单表同步,您还在手动更新数据表吗?使用All data数据中台一键实现数据定时同步,数据自动更新。同步前,我们先检查下原端和目标端数据情况,在数据同步前先进行数据连接校验,创建项目管理,后续上相关的同步任务可以归属管理,找任务不用翻列表,一个个找了,创建任务模板一次配置,重复使用。
01:00
用减少重复配置的麻烦。这里设置了定时同步,每5分钟会自动同步一次数据。开始创建单表同步任务,选择源端数据库和数据表,选择目标端数据表,勾选字段映射,这里需要原端和目标端的字段映射一致,数据同步才能准确到位,系统会自动生成构建一致,无需手写提。
02:00
高效率和准确性选用任务模板,不用重新手动配置信息。这里构建语句是每次同步都是追加数据,不替换,不清空。如果您需要每次先清空表再写入或者根据主键更新,可以按提示修改该语句,点击下一步提交同步任务创建在任务详情里正式运行数据同步正式开启同步任务。任务正式运行开始运行后,会按照定时同步安排,每5分钟运行一次同步操作,需要马上同步数据的也可以手动即刻同步。
03:00
在运行日志查看同步情况,这个手动执行的日志,这两个定时运行产生的日志一目了然。查看读了多少条,耗时多久,是否有失败。查看定时同步的运行结果,返回数据源管理,校验同步结果。打开原端数据表,查看数据是否新增,没有发生新增数据。打开目标端数据表,查看同步情况。
04:01
目标端同步了3次,每次同步都会保留历史数据,新数据直接加到后面数据表,数据量符合3次同步的结果。
我来说两句