用于大输入文件的spring批处理远程分区

Question

我们正在使用spring批处理和spring集成实现一个远程分区作业。对于这项工作，我们将得到一个大文件，我们使用unix命令分割该文件，并使用这些文件运行批处理。是否有方法可以为大文件编写自定义分区逻辑而不分割文件。请帮助某人..。

提前谢谢。

-MK

Answer 1

Spring (批-1613和相关的拉请求)有一个支持多线程文件读取的Jira问题。然而，我们发现的问题是，拥有多个线程的好处是非常特定于环境的。在典型的环境中，您最终无法以一个文件的速度将数据从磁盘中取出，从而使所有分区都处于忙碌状态。以前链接到的拉请求在我用单个线程对单个文件进行测试时没有看到任何好处，这就是为什么它没有被合并的原因(尽管作者能够给出在他的环境中显示出更快速度的统计数据)。

如果链接代码对您有好处，请随意使用它。但是，在将其合并到框架本身之前，我希望确保在更多的环境中(或者至少更具体地理解它的需求以获得好处，以便将其记录在案)，这些好处是可以实现的。

如果您想出了一些适合您的东西(不管是基于链接的代码还是其他的)，我们会喜欢拉请求！