Pentaho PDI (汤匙)：MySQL表输出非常慢(大约2000行/秒)

Question

与输入(100.000-200.000行/秒)相比，我的表输出步骤非常慢(大约2.000行/秒)。MySQL服务器不是问题所在，使用原生MySQL，例如使用“执行SQL script”步骤，我得到的结果是每秒10万个。我已经尝试了(但没有成功)常用的解决方案，即通过以下方式扩展SQL选项：

useServerPrepStmts=false
rewriteBatchedStatements=true
useCompression=true

我还更改了提交大小参数(100、1.000、10.000)，并启用了Use batch updates for inserts，但同样没有成功。我还能做什么？我有大约10.000.000行的表，而Pentaho运行在一台非常强大的机器上，所以这是不可接受的。

Answer 1

对于这一点，我认为理想的步骤是MySQL Bulk Loader步骤，它在批量加载部分列出。同时使用所述的

useServerPrepStmts=false
rewriteBatchedStatements=true
useCompression=true

在JDBC选项中的连接。这些useCompression将压缩客户端和MySQL服务器之间的流量，而其他两个将形成INSERT INTO tbl (a,b) VALUES (1,'x'),(2,'y'),(3,'z');，而不使用单独的insert语句。

Answer 2

请按照以下步骤操作：

1. 增加PDI的内存大小。使用(厨房或平移)等命令行实用程序运行作业或Transformation.

的

现在比较一下速度。

干杯!