在java中并发处理多个文件

Question

我的需求是这样的。有一个中央存储库，用户将在其中放置多个xml文件，我们的目录监视器服务(简单的java类)将拾取这些xml文件并对其进行处理。

在这种情况下，我们如何实现并发处理？我们应该采用逐个xml处理还是并发处理？

通常，在实际项目中，我们应该采用哪种方法？

Answer 1

在这种情况下，我们如何实现并发处理？

目录监视器服务可以挑选新文件，并将它们放入队列中，在队列中，多个线程可以挑选文件，并根据需要对其执行操作。

我们应该逐个进行

处理还是并发处理？

这取决于您希望处理完成的速度和其他因素，例如，整个处理过程是独立的，还是处理过程需要访问其他当前已经存在的文件，您是否需要等待其他资源？

通常在实际项目中，我们应该采用哪种方法？

并发处理可能更快，但可能需要更多的内存

Answer 2

在这种情况下，到目前为止，您最大的成本将是IO，除非您正在对同样昂贵的数据执行某些操作(例如与另一个服务交谈)

你可能会发现你产生了很多线程，其中大多数不会做任何事情，因为你处理加载的(在内存中)文件的速度比你实际加载它们的速度要快。

我建议你先看看你是否真的需要这样做，如果你真的能通过实现并发方法获得什么。您可能会发现，在吞吐量方面，您没有获得任何有意义的东西，但是您获得了额外的代码复杂性。