首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在Java线程之间分发数据库读取作业的最佳方法

问在Java线程之间分发数据库读取作业的最佳方法
EN

Stack Overflow用户
提问于 2013-08-07 13:53:17
回答 3查看 1.8K关注 0票数 2

我有一个包含大量行的MySQL数据库。

我想在Java中初始化多个Thread(每个线程都有自己的数据库连接),并同时读取/打印数据。

如何在多个线程之间划分数据,以避免两个线程读取相同的记录?可以使用哪些策略?

EN

回答 3

Stack Overflow用户

发布于 2013-08-07 14:06:44

这取决于你的线程要做什么工作。例如,我通常对一些大型数据集执行单选,将任务添加到线程安全的任务队列中,并提交从队列中挑选合适任务的工作进程。我通常在不同步的情况下写入数据库,但这取决于工作单元的大小和数据库约束(如唯一键等)。很有魅力。另一种方法是简单地运行多个线程,让它们自己工作。我强烈反对使用一些花哨的限制,但是抵消。它仍然需要DB获取比它从查询中实际返回的更多的数据行。

编辑:当你添加了评论说你有相同的数据,是的,我的解决方案是你在寻找什么

  1. Get dataset by single query
  2. Add data to queue
  3. 午餐您的线程(通过执行器或新线程)
  4. 从队列中挑选数据并进行处理。
票数 2
EN

Stack Overflow用户

发布于 2013-08-07 14:43:35

如果大型数据集具有整数主键,则其中一种方法将如下所示

  • 获取使用相同select查询的行数。
  • 将整个数据集划分为相等数量的分区,每个分区对应于每个头。每个线程都有自己的select查询,并将主键值范围作为约束。

注意:此方法存在以下问题

  1. 你(触发线程数+ 1)查询到数据库。因此,性能可能是一个问题。
  2. 所有分区可能不相等(因为会有一些ids被删除)。

这种方法很简单,并确保行仅由线程严格处理。

票数 1
EN

Stack Overflow用户

发布于 2013-08-07 13:59:01

您可以使用单例类来维护已经读取的行。因此每个线程都可以访问该单例中的行号。

否则,您可以使用公共类中的静态AtomicInteger变量。每次线程都会调用getAndIncrement方法。因此您可以在线程之间对数据进行分区。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/18095630

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档