我创建了一个将数百万个值插入到MySql数据库的程序。我读过关于批量插入的文章,它将优化我的程序并使其更快,但是当我尝试这样做时,它也以同样的方式工作。我没有将每个值插入到数据库中,而是在每次500个值的列表中,然后将它们插入一个大循环中,如下所示:
for(int i=0;i<500;i++)
{
insertData(list.get(i));
}然后,我删除列表中的所有值,然后再次开始收集500个值。不是应该更好点吗?
我的插入代码是:
public void insertToNameTable(String id,String name) throws SQLException
{
PreparedStatement ps=null;
ps= conn.prepareStatement("INSERT INTO NameTable values(?,?,?)",user.getId(),user.getName());
ps.setString(1,id);
ps.setString(2,name);
ps.setBoolean(3,false);
ps.executeUpdate();
}我有一些问题:
1.当我进行批处理插入时,为什么它不能工作得更快?
2.我每次输入多少个值才能使它更快?(500,1000,10000)越多输入值越好?
发布于 2014-12-18 09:23:00
这是批量插入的有效方法。
Connection connection = new getConnection();
Statement statement = connection.createStatement();
for (String query : queries) {
statement.addBatch(query);
}
statement.executeBatch();
statement.close();
connection.close();
发布于 2014-12-18 09:40:28
问题1和2:
用户不久前说:
认为准备好的语句主要是关于性能的概念是一种误解,尽管这是一个相当普遍的概念。 另一位海报提到,他注意到Oracle和Server的速度提高了大约20%。我在MySQL中也注意到了类似的数字。事实证明,解析查询并不是所涉及的工作的重要部分。在一个非常繁忙的数据库系统上,也不清楚查询解析是否会影响总体吞吐量:总的来说,它可能只是耗尽了CPU时间,而这些CPU时间本来是在数据从磁盘返回时空闲的。 因此,作为使用准备语句的一个原因,对SQL注入攻击的保护远远超过了性能的提高。如果你不担心SQL注入攻击,你应该.
这是最初的帖子:
PreparedStatements and performance
在我看来,所有的答案都值得一读。我认为你期望PreparedStatement是某种魔术师,它将大大提高你的插入速度,这就是为什么你对你所得到的改进感到失望。
问题3
使用PreparedStatement的正确方法是准备语句,然后在循环中设置值和更新数据库。下面是一个很好的例子:Reusing a PreparedStatement multiple times
https://stackoverflow.com/questions/27542333
复制相似问题