最可配置的ETL工具

Question

我正在寻找最适合以下标准的ETL工具。

1. 支持MongoDB
2. 接受元数据作为输入(或接受文件并动态构建其元数据)
3. 提供可配置映射。(可以通过外部开发来定义映射，使用一些文件ot表)

请推荐满足上述需求的工具。

Answer 1

嗯，你的任务看起来是最可配置的ETL工具。从过去几年在ETL过程中的经验，我可以告诉您，您将永远找不到这样的工具，以满足您的所有要求。特别是当您拥有企业级数据仓库(由于高而复杂的报告需求而需要)时，唯一的one软件解决方案是构建您自己的基于自定义项目的ETL软件，这通常是忘恩负义的。

但是(大但)，用现有的工具至少可以满足80%的需求。插件，聪明地使用脚本，良好的数据流设计和(如果需要的话)小型定制软件与调度配对，可以帮助您完成想象的过程。与任何其他工作相比，ETL过程似乎没有什么不同-- 80% of the work is done in 20% of time, and the rest of work (20%) is done in 80% of time.

我对你的建议：

五旬节数据集成免费开放源码

PDI是一个强大的ETL工具，surley可以满足您的需求。如果你要开发更多的插件，有大量的插件、坚实的社区和良好的API。

五旬节数据集成+集成服务器-企业版-“足够便宜”几乎每一个中型项目

企业版包括免费版本，包括更多插件(例如JMS生成器)、版本控制系统、instaview等。此外，它还拥有自己的服务器，所以调度是基于软件的(而不是基于OS的)、日志记录、更好的管理和最重要的支持！

Informatica或Microsoft SSIS -昂贵而辉煌

我不会在这个工具上浪费时间。Informatica是主要的面向ETL的公司，在高层次上使用Informatica需要对DB/DWH设计、ETL过程、PL/SQL、尺寸建模等有深入的理解。

SSIS是为Server构建的主要工具，因此，如果您的源db或目标db (DWH)中至少有一个未在Server上运行，则不需要很高的使用率。

结论

这只是市场提供给我们的大量工具。其他人可能甚至不会提到这些工具。请看其中一个列表。

几乎每个BI系统都有自己的ETL工具。也许最好的选择是一起使用它，这样你就有可能最大限度地利用两者。

注意:好的ETL项目经理，或者ETL开发人员可以将工具优势扩展到更好/更昂贵的水平！