首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >用批量插入插入到数据库中的大量数据

问用批量插入插入到数据库中的大量数据
EN

Stack Overflow用户
提问于 2014-12-18 08:41:46
回答 2查看 2.9K关注 0票数 1

我创建了一个将数百万个值插入到MySql数据库的程序。我读过关于批量插入的文章,它将优化我的程序并使其更快,但是当我尝试这样做时,它也以同样的方式工作。我没有将每个值插入到数据库中,而是在每次500个值的列表中,然后将它们插入一个大循环中,如下所示:

代码语言:javascript
复制
for(int i=0;i<500;i++)
{
   insertData(list.get(i));
}

然后,我删除列表中的所有值,然后再次开始收集500个值。不是应该更好点吗?

我的插入代码是:

代码语言:javascript
复制
public void insertToNameTable(String id,String name) throws SQLException
       {
           PreparedStatement ps=null;

            ps= conn.prepareStatement("INSERT INTO NameTable values(?,?,?)",user.getId(),user.getName());


            ps.setString(1,id);
            ps.setString(2,name);
            ps.setBoolean(3,false);
            ps.executeUpdate();

       }

我有一些问题:

1.当我进行批处理插入时,为什么它不能工作得更快?

2.我每次输入多少个值才能使它更快?(500,1000,10000)越多输入值越好?

  1. 我将值插入数据库的方式是最好的方法吗?
EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2014-12-18 09:23:00

这是批量插入的有效方法。

​

代码语言:javascript
复制
Connection connection = new getConnection();
Statement statement = connection.createStatement();
 
for (String query : queries) {
    statement.addBatch(query);
}
statement.executeBatch();
statement.close();
connection.close();

​

票数 2
EN

Stack Overflow用户

发布于 2014-12-18 09:40:28

问题1和2:

用户不久前说:

认为准备好的语句主要是关于性能的概念是一种误解,尽管这是一个相当普遍的概念。 另一位海报提到,他注意到Oracle和Server的速度提高了大约20%。我在MySQL中也注意到了类似的数字。事实证明,解析查询并不是所涉及的工作的重要部分。在一个非常繁忙的数据库系统上,也不清楚查询解析是否会影响总体吞吐量:总的来说,它可能只是耗尽了CPU时间,而这些CPU时间本来是在数据从磁盘返回时空闲的。 因此,作为使用准备语句的一个原因,对SQL注入攻击的保护远远超过了性能的提高。如果你不担心SQL注入攻击,你应该.

这是最初的帖子:

PreparedStatements and performance

在我看来,所有的答案都值得一读。我认为你期望PreparedStatement是某种魔术师,它将大大提高你的插入速度,这就是为什么你对你所得到的改进感到失望。

问题3

使用PreparedStatement的正确方法是准备语句,然后在循环中设置值和更新数据库。下面是一个很好的例子:Reusing a PreparedStatement multiple times

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/27542333

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档