首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >qData 1.6.0 DataX 引擎实测:免 Spark 的轻量数据同步体验

qData 1.6.0 DataX 引擎实测:免 Spark 的轻量数据同步体验

原创
作者头像
然而er
修改2026-08-07 12:35:10
修改2026-08-07 12:35:10
540
举报

qData 1.6.0 新增了 DataX 执行引擎,我用一条 MySQL → PostgreSQL 的数据同步任务做了实测,记录一下完整过程和体感。

环境信息:

  • qData 版本:1.6.0
  • 源端:MySQL 8.0,单表约 120 万行,表大小约 2.3GB
  • 目标端:PostgreSQL 14
  • 对比引擎:同任务切换 Spark 引擎跑了一次作为基准

任务配置过程:

创建数据源连接、拖拽输入输出组件、配置字段映射这些步骤和之前版本一致,没有额外学习成本。选择执行引擎时,下拉菜单新增了 DataX 选项,替换掉原来默认的 Spark 即可。

字段映射部分,我尝试了手动映射和同名自动映射两种方式。同名映射能正常识别字段,但类型映射上有一个细节:MySQL 的 datetime 映射到 PostgreSQL 的 timestamp 时,默认没有带时区信息,如果业务需要 timestamptz,需要手动在目标字段类型里覆盖一下。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档