我有一个包含大量行的MySQL数据库。
我想在Java中初始化多个Thread(每个线程都有自己的数据库连接),并同时读取/打印数据。
如何在多个线程之间划分数据,以避免两个线程读取相同的记录?可以使用哪些策略?
发布于 2013-08-07 14:06:44
这取决于你的线程要做什么工作。例如,我通常对一些大型数据集执行单选,将任务添加到线程安全的任务队列中,并提交从队列中挑选合适任务的工作进程。我通常在不同步的情况下写入数据库,但这取决于工作单元的大小和数据库约束(如唯一键等)。很有魅力。另一种方法是简单地运行多个线程,让它们自己工作。我强烈反对使用一些花哨的限制,但是抵消。它仍然需要DB获取比它从查询中实际返回的更多的数据行。
编辑:当你添加了评论说你有相同的数据,是的,我的解决方案是你在寻找什么
发布于 2013-08-07 14:43:35
如果大型数据集具有整数主键,则其中一种方法将如下所示
注意:此方法存在以下问题
这种方法很简单,并确保行仅由线程严格处理。
发布于 2013-08-07 13:59:01
您可以使用单例类来维护已经读取的行。因此每个线程都可以访问该单例中的行号。
否则,您可以使用公共类中的静态AtomicInteger变量。每次线程都会调用getAndIncrement方法。因此您可以在线程之间对数据进行分区。
https://stackoverflow.com/questions/18095630
复制相似问题