我正在编写一个Spring批处理作业,它由4个独立的步骤组成,并希望将工作分布在集群的节点上。我在考虑使用流将作业分解为4个并行执行的作业。这4个作业中的每一个都将配置为作为单个分区运行。它似乎可以工作(未在集群中完全测试),但需要定义单独的PartitionHandlers、请求和响应通道以及出站网关。
这些实体中的任何一个都可以跨分区步骤重用吗?
还有其他建议的方法吗?
发布于 2014-01-29 20:02:52
对于并行处理,我可以建议使用this doc
例如:
<job id="parallelJobExample">
<split id="parallelProcessingExample" task-executor="taskExecutor">
<flow>
<step id="step1" parent="independetJob1"/>
</flow>
<flow>
<step id="step2" parent="independetJob2"/>
</flow>
</split>
</job>
<step id="independetJob1">
<tasklet>
<chunk reader="parallelReader1" processor="parallelProcessor1" writer="parallelWriter1" commit-interval="1000"/>
</tasklet>
</step>
<step id="independetJob2">
<tasklet>
<chunk reader="parallelReader2" processor="parallelProcessor2" writer="parallelWriter2" commit-interval="1000"/>
</tasklet>
</step>İ如果你需要jms的例子,我也可以提供。
https://stackoverflow.com/questions/21416223
复制相似问题