温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
数据集成管理hive单表增量同步到Doris您还在为数据更新需要手动同步烦恼吗?All data数据中台告诉您,数据增量同步只要几步就搞定了。先来看看同步前的数据情况,也可以在数据库展开的数据表里输入表明,快速查找同步前老规矩,先校验数据库连接是否正常,创建项目管理分类管理项目,后续查找更便捷。
01:00
创建任务模板一次配置同步规则,可重复使用,更高效。这里设置的定时同步是每5分钟就自动同步一次。这里将任务模板归属到单表项目管理中,后续查找,不用一个个翻找。创建Have单表增量分区同步任务选择需要读取原端的数据表,这里设置的是以日期为分区,读取分区DT=2026年4月23日下的所有数据文件作为本次同步的原数据。
02:00
选择需要同步到目标端的数据表,原表和目标表的字段映射需要一致,数据同步才准确自动生成建表语句全程,不用手动编辑代码。这里同步方式是纯新增追加写入,不会覆盖旧数据。这里选择任务模板,不用手动重新配置,点击下一步即可完成创建。打开任务详情,找到新建的hive增量同步任务运行同步,点击启动后任务正式运行。
03:00
同步任务会按照套用的模板中设置的定时规则,每5分钟同步一次,需要马上同步数据,也可以手动操作同步查看运行日志,详细了解手动同步的数据情况,这里可以查看同步了多少条数据,耗时多久,有没有失败,返回数据源管理中校验数据同步情况原表数量是28条。
04:00
这里目标表同步了原表的7条数据,同步后的数量正确,同步分区跟任务设置一致,同步了2026年4月23日下的所有数据。自此,Hive单表分区增量同步成功。
我来说两句