我有一个简单的用例,但是它并没有被优化,我想知道它是否可以。
假设我有一个简单的实体,它包含一个ID和一个名为price的变量(这个实体称为Product)。
我正在使用Hibernate和JPA,每一小时我都想更新产品的价格,下面是伪代码:
List<Product> products = Product.retrieveAll();
for (Product p : products) {
p.price = makeSomeComplexComputationsToGetNextPrice();
p.save(); // Updates the entity in the DB
}这段代码非常简单。makeSomeComplexComputationsToGetNextPrice();使用CPU进行一些计算,而且速度很快。
当我有100个产品时,一切正常(代码发出101个sql请求),但假设我有10000个产品,代码发出10001个sql请求,需要几秒钟。
这个用例是我实际用例的简化版本,但问题是:当我有太多的产品时,执行它需要花费太多的时间(因为大量的查询)。
使用hibernate和JPA,是否有优化这种用例的方法?(这段代码的执行时间应该少于1秒钟,而且由于所有的查询,它所花费的时间远远超过1s )
非常感谢你的帮助
发布于 2013-08-29 15:54:32
用一批怎么样?我想这就是典型的做法。
http://docs.jboss.org/hibernate/orm/3.3/reference/en-US/html/batch.html
发布于 2013-08-29 15:56:15
优化的最简单方法是使用批量传输。尝试计算N个大小的大批量,然后存储整个N个产品,同时存储。与其为每个存储(打开连接、存储、刷新、关闭连接)做努力,不如对每个大容量的只执行一次。
更容易的是,当您选择全部数量的产品作为您的体积,有效地使它成为一个负载计算存储算法。
否则,选择完美的批量大小可能会很棘手,因为它取决于许多参数,如对象大小、DB及其参数硬件等,但是通常可以通过尝试不同的值和测量时间来发现一个很好的值。
其他方法可能包括并行性(因为IO是瓶颈,所以似乎不合适)或调优DB。
发布于 2013-08-29 16:06:18
正如@EricStein和@LastFreeNickname所指出的,使用批量插入,如果我们在p.save();上讨论插入命令,这是一个解决方案。
但是--如果makeSomeComplexComputationsToGetNextPrice();正在对某些SELECT请求进行DB调用,那么首先为这些复杂的计算查询所有所需的数据,然后对其进行操作(同样是使用批处理技术进行插入)是有意义的。
https://stackoverflow.com/questions/18515560
复制相似问题