
说实话,我做数据这行已经二十多年了。每天面对不同的系统、不同的数据格式,还有各种数据集成和转换需求,确实挺让人头疼的。
早些年试着用过一些ETL工具,像Talend、Informatica、DataStage这些我们都试过,确实是性能强,功能全,但耐不住门槛高、配置又复杂,费用还不低。对我们业务线工作人员来说,学习成本和维护难度都挺大。
但现在业务系统又多又复杂,数据源也多样,从关系库到日志文件,从线上系统到第三方API,数据格式各异。每次还需要把数据整合到分析系统,或者清洗、格式转换,光用脚本或者手写SQL,既慢又容易出错。你说放弃不用ETL吧,我们也做不到,于是就一直用着Talend的。
以前用Talend的时间比较长,功能确实强大,但整体还是有几个问题:
我用它做过不少复杂数据处理,但每次要改流程或者修复bug,都要花不少时间。更何况我平时工作里还要兼顾其他任务,没法把全部精力都放在ETL上。
去年年末和一个同行聊天,他提到他们公司最近用上了一个免费的国产ETL工具,叫ETLCloud,功能还挺齐全。我本来以为这类新出的小工具会比较简陋,但是听到是免费,就抱着试试看的心态下载安装了。
让我惊讶的是,这个ETLCloud安装起来特别简单,直接从官网下载了客户端,再配置几步就能连上数据库。而且界面设计也特别简单明了,没有多余复杂的功能堆砌,但常用的转换、过滤、联结、聚合等组件都非常齐备。
登上去后,我试着看了一下它的数据源接入,它支持接入的数据源居然还蛮多的,像Oracle、MySQL、SQL Server、PostgreSQL等都没问题,甚至对一些日志格式和JSON也有很好的解析支持。

我主要用ETLCloud做以下几类工作:
优点:

不足:
后来用这个ETL工具做了个项目,需要把三个系统的数据汇总,这些数据大都格式不统一,还涉及字段重命名、类型转换、日期格式标准化等一堆乱七八糟的。但没想到用ETLCloud只花了两天时间就完成了任务,比原计划提前一周交付。
更关键的是,后续数据更新我设定了定时任务,每天凌晨自动跑流程,早上起来数据自动生成,团队成员都说方便,省了不少人力。
后续我们部门陆续将更多项目接入这款工具,初步计划逐步推广ETLCloud,最终实现对Talend的全面替换——毕竟国产软件,用着更踏实!
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。