如何修复Talend中的Java堆空间错误？

Question

我有一个ETL流通过talend在那里：

1. 使用作业从远程服务器读取压缩文件。
2. 获取这些文件，解压它们，然后使用作业将它们解析为HDFS。在作业内部存在一个模式检查，因此如果某些内容不是

我的问题是TAC服务器会因为这个错误而停止执行：

线程"main“中出现异常:位于org.talend.fileprocess.TOSDelimitedReader.joinAndRead(TOSDelimitedReader.java:261) at org.talend.fileprocess.TOSDelimitedReader.readRecord的org.talend.fileprocess.TOSDelimitedReader$ColumnBuffer4Joiner.saveCharInJoiner(TOSDelimitedReader.java:503)处的java.lang.OutOfMemoryError堆空间_org.talend.fileprocess.TOSDelimitedReader.readRecord(TOSDelimitedReader.java:125)的SplitField(TOSDelimitedReader.java:148) ....

是否有自动避免和处理此错误的选项？只有几个文件导致这个错误，但我想找到一个解决方案，以进一步类似的情况。

Answer 1

在TAC job Conductor中，可以为选定的作业添加JVM参数。

添加-Xmx参数指定最大堆大小。默认值取决于各种因素，如JVM版本/供应商、机器的实际内存等。在你的情况下，

java.lang.OutOfMemoryError: Java heap space

显示默认值对于此作业是不够的，因此您需要覆盖它。

例如，指定-Xmx2048m对于2048Mb或2 2gb