Amazon Redshift to Mysql，使用Pentaho数据集成

Question

我们使用的是亚马逊红移，数据库是亚马逊云中的POSTGRESQL.Tha数据。我们需要使用Pentaho数据集成Software.Could将数据从亚马逊红移加载到Mysql，请告诉我们如何通过Pentaho连接到红移？

Answer 1

我会尽力帮你的。

redshift连接将需要您的PostgreSql数据集成的lib文件夹中的pentaho。但是五角大楼附带的版本在红移方面有一些问题，这可以通过删除现有的版本并使用8.4版本来解决(如this link上所示)

之后，您可以使用表输入步骤在转换上创建一个新的连接。您的查询应该可以正常运行。

您可以添加一个表输出步骤，连接到mysql数据库(您还需要下载de JDBC连接器并放置在MySQL文件夹中)。

​

​

另一种输出是MySQL Bulk Loader Step，它具有令人惊叹的性能。但是对于第一个测试，Table Output步骤应该可以完成这项工作。

Answer 2

我们已经解决了我当前项目中的完全相同的问题，我们需要从RedShift聚合大型数据集，并需要将聚合的数据导入到MySql中以用于仪表板报告。如果你已经决定使用Pantaho工具，那就更好了。这是一个非常好的工具，但我们采用了另一种方法，因为我们使用Kettle/Spoon获得的大型数据集和Spead无法满足我们的基准测试和业务需求。

我在这里列出了解决方案，以便它可能对其他人有所帮助。

1. 发出一个psql select命令，并将结果集重定向到CSV/TXT文件中。

foo_data.csv

• User -U $User -d $db_name -c "Copy (Select * From foo_table LIMIT 10) to STDOUT With CSV HEADER DELIMITER '|';“>将数据导入到本地的foo_data.csv

• User -u实用工具--local --compress -u $MYSQL_USER -p$MYSQL_PASSWORD -h $MYSQL_HOST $MYSQL_DATABASE -u-terminated-by=‘|’--ignore-lines=1 --columns C1|C2|C3|..|C4 TABLE_NAME.CSV

使用上述方法，我们的速度提高了约100倍。

使用同样的方法mysql到RedShift也是可行的，唯一的改变是，你可能需要将mysql导出的CSVs推送到S3，或者启用SSH来使用psql脚本中的复制命令。