首页
学习
活动
专区
圈层
工具
发布

MySQL批量插入数据库实现语句性能分析

1', 'Value 1', 'Other 1'); MySQL允许我们在一条sql语句中批量插入数据,如下sql语句: INSERT INTO example (example_id, name...,下面会分别进行测试,目标是插入一个空的数据表200W条数据   第一种方法:使用insert into 插入,代码如下: $params = array('value'=>'50'); set_time_limit...第二种方法:使用事务提交,批量插入数据库(每隔10W条提交下)最后显示消耗的时间为:22:56:13 23:04:00 ,一共8分13秒 ,代码如下: echo date("H:i:s"); $...SQL语句:将SQL语句进行拼接,使用 insert into table () values (),(),(),()然后再一次性插入,如果字符串太长,   则需要配置下MYSQL,在mysql 命令行中运行...->query($sql);   最后总结下,在插入大批量数据时,第一种方法无疑是最差劲的,而第二种方法在实际应用中就比较广泛,第三种方法在插入测试数据或者其他低要求时比较合适,速度确实快。

5K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    java批量插入数据库之批量处理

    关于批量处理,除了上篇绑定变量,还可以用批量处理 从查阅的资料来看,批量处理主要有两个方式,一种为insert into test(id,name) values('1','Jerry'),('2','...('n','Neo'); 当然,后边的可以用循环拼接,据资料查阅,这种形式就是以一组数据的形式发送到数据库,然后进行编译一次,再进行执行,但这种方式由于有无限长的sql语句,所以在工程中会受到长度限制,...内存限制等影响,比较好的是另一种 即statement的executeBatch,这种的好处在于,可以添加很多条语句,类型不一定是插入语句,根据资料得出,如果过用的是之前的绑定变量的形式插入的语句可以在...executeBatch自动解析成一条语句,只需编译一次,而如果是不同的语句则需要不同的编译, 对比两者的性能,具体内容可以参考http://bbs.csdn.net/topics/390836171

    1.1K50

    MySQL 批量插入:如何不插入重复数据?

    知识这个东西,看来真的要温故而知新,一直不用,都要忘记了 业务很简单:需要批量插入一些数据,数据来源可能是其他数据库的表,也可能是一个外部excel的导入 那么问题来了,是不是每次插入之前都要查一遍...向大数据数据库中插入值时,还要判断插入是否重复,然后插入。如何提高效率 看来这个问题不止我一个人苦恼过。...例如,为了实现name重复的数据插入不报错,可使用一下语句: INSERT INTO user (name) VALUES ('telami') ON duplicate KEY UPDATE id =...user (name) SELECT 'telami' FROM dual WHERE NOT EXISTS (SELECT id FROM user WHERE id = 1) 这种方法其实就是使用了mysql...这样在批量插入时,如果存在手机号相同的话,是不会再插入了的。 来源:www.telami.cn

    5.5K20

    【MySQL】插入优化篇——(少量插入数据优化&批量插入数据load指令)

    本章主要内容面向接触过C++ Linux的老铁 主要内容含: 1.批量插入 采取以下形式,在一个insert语句中完成数据插入,而不是分成几个insert语句 Insert into tb test...values(1,'Tom'),(2,'cat'),(3, jerry'); 【1】需要大批量插入数据——load指令 如果一次性需要插入大批量数据,使用insert语句插入性能较低,此时可以使用MVSQL...数据库提供的load指令进行插入。...本地磁盘文件中的数据,通过load直接加载到数据库表结构中 操作如下: #客户端连接服务端时,加上参数--local-infile mysql --local-infile -u root -p #设置全局参数...批量处理:对于大量的插入操作,将它们封装在一个事务中可以显著提高性能,因为数据库只需在事务结束时进行一次磁盘写入操作,而不是每次插入都写入。

    2.2K10

    Mysql批量插入时,如何不插入重复的数据

    业务很简单:需要批量插入一些数据,数据来源可能是其他数据库的表,也可能是一个外部excel的导入 那么问题来了,是不是每次插入之前都要查一遍,看看重不重复,在代码里筛选一下数据,重复的就过滤掉呢?...向大数据数据库中插入值时,还要判断插入是否重复,然后插入。如何提高效率 看来这个问题不止我一个人苦恼过。...例如,为了实现name重复的数据插入不报错,可使用一下语句: INSERT INTO user (name) VALUES ('telami') ON duplicate KEY UPDATE id =...user (name) SELECT 'telami' FROM dual WHERE NOT EXISTS (SELECT id FROM user WHERE id = 1) 这种方法其实就是使用了mysql...这样在批量插入时,如果存在手机号相同的话,是不会再插入了的。

    6.8K21

    MySql批量插入时,如何不插入重复的数据

    业务很简单:需要批量插入一些数据,数据来源可能是其他数据库的表,也可能是一个外部excel的导入 那么问题来了,是不是每次插入之前都要查一遍,看看重不重复,在代码里筛选一下数据,重复的就过滤掉呢?...向大数据数据库中插入值时,还要判断插入是否重复,然后插入。如何提高效率 看来这个问题不止我一个人苦恼过。...所以使用ignore请确保语句本身没有问题,否则也会被忽略掉。...例如,为了实现name重复的数据插入不报错,可使用一下语句: INSERT INTO user (name) VALUES ('telami') ON duplicate KEY UPDATE id =...这样在批量插入时,如果存在手机号相同的话,是不会再插入了的。

    4.3K20

    MySql 批量插入时,如何不插入重复的数据

    :需要批量插入一些数据,数据来源可能是其他数据库的表,也可能是一个外部excel的导入 那么问题来了,是不是每次插入之前都要查一遍,看看重不重复,在代码里筛选一下数据,重复的就过滤掉呢?...向大数据数据库中插入值时,还要判断插入是否重复,然后插入。如何提高效率 看来这个问题不止我一个人苦恼过。...所以使用ignore请确保语句本身没有问题,否则也会被忽略掉。...例如,为了实现name重复的数据插入不报错,可使用一下语句: INSERT INTO user (name) VALUES ('telami') ON duplicate KEY UPDATE id =...这样在批量插入时,如果存在手机号相同的话,是不会再插入了的。

    4.7K20

    mysql数据库语句

    新增数据 MySQL使用insert into语句来插入数据 insert into table_name (fiel1, field2,.....fieldN) values(value1, value2...在MySQL数据库中使用select语句来查询数据 在数据库中通用的select语句语法如下: SELECT column_name, column_name FROM table_name [WHERE...from user where age >25; replace操作 如果数据库中存在相同主键的数据,replace的作用相当于修改操作;如果数据库中不存在相同主键的数据,replace相当于插入操作...,然后再次执行数据查询语句,可以看到id为1的用户存在,所以replace语句变为修改操作,将用户1的年龄修改为21。...用户3的信息与replace语句的内容一样,不修改。用户6不存在,replace语句相当于插入操作。

    6.6K20
    领券