Java:用于异步数据库写入的TaskExecutor？

Question

我正在考虑使用Java的TaskExecutor来触发异步数据库写入。可以理解，线程不是免费的，但是假设我使用的线程池大小固定为5-10，这怎么会是个坏主意呢？

我们的应用程序使用缓冲区从一个非常大的文件中读取数据，并在执行一些数据操作后将此信息刷新到数据库中。在这里，使用异步写入似乎很理想，这样我们就可以继续处理文件。我遗漏了什么？为什么不是每个应用程序都使用异步写入？

Answer 1

为什么不是每个应用程序都使用异步写入？

以同步方式处理写入失败通常是必要的/有用的/更容易的。

Answer 2

我甚至不确定线程池是否有必要。我会考虑使用一个专用的databaseWriter线程，它会为你做所有的写入和错误处理。类似于：

 public class AsyncDatabaseWriter implements Runnable {
     private LinkedBlockingQueue<Data> queue = ....
     private volatile boolean terminate = false;

     public void run() {
         while(!terminate) {
            Data data = queue.take();
            // write to database
         }
     }
     public void ScheduleWrite(Data data) {
         queue.add(data);
     }
 }

我个人喜欢使用Proxy进行线程化操作的风格，这可能需要很长时间。我并不是说这种方法比以任何方式使用executors都要好，只是将其添加为另一种选择。

Answer 3

这个想法一点也不坏。实际上，我昨天刚试过，因为我需要创建一个在线数据库的副本，其中有5个不同的类别，每个大约60000个项目。

通过将每个类别的解析/保存操作移动到并行任务中，并将每个类别导入划分为并行运行的较小批处理，我将总导入时间从几个小时(估计)减少到26分钟。在此过程中，我发现了拆分集合的一段好代码：http://www.vogella.de/articles/JavaAlgorithmsPartitionCollection/article.html

我使用ThreadPoolTaskExecutor来运行任务。您的任务只是Callable接口的简单实现。