首页
学习
活动
专区
圈层
工具
发布

使用shell脚本批量插入数据到MySQL中

经常会踫到这样的场景需求:批量向MySQL数据库插入数据,显然手工INSERT成千上万条数据是不现实的,所以自己写了这个shell脚本来处理。...1 具体需求 shell脚本批量插入10万条数据到MySQL中,其中对应表唯一索引是用户uid。因此在程序循环1万次数时,每次都使uid自增1就行了。...2 脚本代码 鉴于数据量比较大,我们的shell脚本需要考虑MySQL执行INSERT的效率,所以采用了对次数取模拼接多个VALUES的值来实现。.../bin/bash # FileName: batchinsertmysqlshell1.sh # Description: 使用shell脚本批量插入数据到MySQL中 # Simple...endTime} ====" 3 脚本管理 目前已经把这个脚本放在Github了,地址是https://github.com/vfhky/shell-tools,以后脚本的更新或者更多好用的脚本也都会加入到这个工程中

2.9K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    在 wangEditor 中插入节点数据:从 Slate Node 结构到 insertNodes 的实际使用

    在使用wangEditor做富文本开发的时候,很多人最开始关注的往往是工具栏怎么配、菜单怎么改、内容怎么回显,直到真正开始调用编辑器API去“插入内容”时,才会突然卡住。...这个问题,几乎是所有刚开始深入使用wangEditor的开发者都会遇到的。因为API的调用方式并不复杂,真正有门槛的,是你必须知道编辑器内部认什么样的数据结构。...从“插入内容”到“插入节点”很多人在第一次接触富文本编辑器API时,脑子里想的还是“我插入一段HTML不就完了吗”。...你在编辑器里手动输入一段文字,设置一个标题,插入一个列表,改一下行高,再去看editor.children,你会突然发现,原来这些看起来富有表现力的内容,在底层都只是结构清晰的JSON数据。...一旦这种理解建立起来,你在使用SlateTransforms.insertNodes(editor,nodes)时就不会再只是机械拼JSON,而是在明确地构造文档结构。那种感觉会非常不一样。

    35400

    【实战】使用 Kettle 工具将 mysql 数据增量导入到 MongoDB 中

    放弃不难,但坚持很酷~ 最近有一个将 mysql 数据导入到 MongoDB 中的需求,打算使用 Kettle 工具实现。...符合过滤条件的数据,增加常量,并将其导入到 mongoDB 中。 不符合过滤条件的数据,增加常量,将其导入到 Excel 表中记录。...2、表输入 设置 mysql 数据库 jdbc 连接后,填好 SQL 语句之后,在下方的“从步骤插入数据”下拉列表中,选中“MongoDB input”。...3、字段选择 如果查询出来的列名需要更改,则可以使用“字段选择”组件,该组件还可以移除某字段,本次应用中,主要使用该组件将字段名进行修改。如下图所示: ?...可以在 linux 上写一个定时任务去执行这个转换,每次转换 mysql 都会将大于 mongoDB 集合中 business_time 字段最大值的数据增量导入到 MongoDB 中。

    7.8K30

    用java程序完成从kafka队列读取消息到sparkstreaming再从sparkstreaming里把数据导入mysql中

    有一段时间没好好写博客了,因为一直在做一个比较小型的工程项目,也常常用在企业里,就是将流式数据处理收集,再将这些流式数据进行一些计算以后再保存在mysql上,这是一套比较完整的流程,并且可以从数据库中的数据再导入到...开始实行 (1)分别在三台主机上开启zookeeper(zookeeper的集群配置可以看我这篇博客zookeeper的安装和使用) ? (2)分别在三台主机上开启kafka ?...(4)在node3上开启mysql ?...在mysql地下创建bigdata数据库,进入数据库后新建wordcount表,创建相应字段即可 (5)将写好的代码打成jar包: 写代码时是要写scala语言,所以要加载好相应的插件: ?...(2): 为什么我打jar包时没有用maven,是因为maven打出来jar包没有我写的主函数,所以在用spark执行时它会报错说找不到main函数的入口,找不到类,后来发现需要在pom文件中做相关的配置

    1.6K10

    .NET Core使用NPOI将Excel中的数据批量导入到MySQL

    前言:   在之前的几篇博客中写过.NET Core使用NPOI导出Word和Excel的文章,今天把同样我们日常开发中比较常用的使用Excel导入数据到MySQL数据库中的文章给安排上。...二、ASP.NET Core使用EF Core连接MySQL执行简单的CRUD操作:   因为该篇文章会涉及到MySQL数据库的操作,所以前提我们需要有一点的CRUD的基础。...: 注意,咱们填写在Excel单元格中的数据可能为多种不同的数据类型,因此我们需要对单元格中的数据类型做判断然后在获取,否则程序会报异常。...NPOI导入数据和导出Word,Excel数据的教程到这里就告一段落了,假如大家感兴趣的话或者对大家有帮助的话不要忘记了前往NPOI-ExportWordAndExcel-ImportExcelData...: https://www.cnblogs.com/Can-daydayup/p/11588531.html .NET Core使用NPOI将Excel中的数据批量导入到MySQL: https

    7.4K20

    由最佳化资料表功能而引出的大坑(DataFree)

    之前使用PHP编写最佳化资料表功能,发现一个关于InnoDB DataFree的问题,供大家参考。...如果进行新的插入操作,MySQL将尝试利用这些留空的区域,但仍然无法将其彻底占用。...这种额外的破碎的存储空间在读取效率方面比正常占用的空间要低得多,我们也称其为碎片空间,他的大小就是数据库中显示的资料分散的大小。...所以我又跑到MySQL文档查询发现: DataFree表示 已分配但未使用的字节数。 InnoDB表报告表所属的表空间的可用空间。对于位于共享表空间中的表,这是共享表空间的可用空间。...对于NDB群集,DATA_FREE显示磁盘上为磁盘数据表或磁盘上的碎片分配但未使用的空间。 (内存数据资源的使用情况由DATA_LENGTH列报告。)对于分区表,此值仅是估计值,可能不是绝对正确。

    86810

    数据库事务与并发处理

    例子:事务 A 修改了数据,但未提交;事务 B 读取了该数据。若事务 A 回滚,事务 B 读取的数据就是错误的。...幻读(Phantom Read) 一个事务读取了多条记录,但另一个事务插入了新记录,导致前后结果不一致。 例子:事务 A 查询符合条件的记录数,事务 B 插入一条新记录并提交。...在 PHP 中使用事务与并发处理以下以 PDO 和 MySQL 为例,讲解如何在 PHP 中实现事务。4.1 启用事务使用合适的隔离级别 根据业务需求选择适当的隔离级别,平衡性能和数据一致性。索引优化 为事务中涉及的查询和更新操作添加索引,减少锁的粒度。7....PHP 中使用事务的实现方法。提高事务性能的最佳实践。希望本文对你理解数据库事务与并发处理有所帮助!

    1.2K00

    【详解】textarea从数据库调取数据

    本文将介绍如何通过JavaScript从后端数据库中获取数据,并将其填充到 ​​textarea​​ 中。我们将使用一个简单的示例来说明整个过程,包括前端和后端的实现。...创建Flask应用接下来,我们创建一个Flask应用,该应用将从数据库中读取数据并将其显示在HTML页面的​​​​中。...示例:使用PHP和MySQL假设我们有一个简单的表单,其中包含一个 ​​textarea​​,我们希望从MySQL数据库中加载一些文本内容到这个 ​​textarea​​ 中。1....创建PHP文件来处理数据请求接下来,创建一个PHP文件(例如 ​​load_text.php​​),该文件负责从数据库中查询数据并将其发送回前端。MySQL中创建了一个名为 ​​texts​​ 的表,并插入了一条记录。

    45810

    explain的type几种类型详解

    你说的 EXPLAIN 的 type,一般是指 MySQL 查询执行计划中 EXPLAIN 输出里的 type 列。它表示 MySQL 选择的连接类型,也就是访问数据表的方式,直接反映查询效率。...最优仅一行数据的表,极少见const表最多只有一行匹配,MySQL 将其作为常量读取。非常好主键或唯一索引查询,速度极快eq_ref对每个来自前一个表的行,使用唯一索引查找,最多返回一行。...最差当无合适索引时出现,最耗性能具体说明1. system表只有一条记录,MySQL 直接读取,没有任何扫描开销。2. const通过主键或唯一索引定位单条数据。只查询一条记录,作为常量处理。...rowsMySQL 估计要读取多少行数据,越小越好,直接影响查询速度。Extra额外信息,比较重要,可能包含:- Using index:使用覆盖索引,性能更好。...查看 key 字段,确认是否使用索引key = NULL 表示没用索引,需优化。如果 possible_keys 有索引但未被使用,考虑:改写查询条件让索引生效。

    1.1K01

    探索RESTful API开发,构建可扩展的Web服务

    此外,PHP与大多数数据库兼容,包括MySQL、PostgreSQL和SQLite,这使得它成为构建RESTful服务的理想选择。...然后,我们从请求的主体中获取提交的数据,并将其解析为关联数组。接下来,我们连接到数据库,并准备执行插入操作的SQL语句。我们使用PDO来执行插入操作,以防止SQL注入攻击。...下面是一个使用PHP中的password_hash函数来加密密码的示例:// 用户注册时,对密码进行加密并存储到数据库中$password = 'user_password';$hashed_password...,而不是直接将其插入查询字符串中,可以有效地防止SQL注入攻击。...在输出用户提供的数据到网页时,应使用合适的编码方式来转义特殊字符。

    5.9K00

    利用前端+php批量生成html文件,传入新文本,输出新的html文件

    本人因为要想自己写个小说网站练练手,在其中遇到的一些问题,将其解决方法总结出来,例如: 1:小说网站存储了大量的小说,每个小说主页都很相似,url不同,不是使用的history属性改写的,所以如果人工想写的话...不写重复结果的返回处理 16 if ($row_select) { 17 echo "if(row)"; 18 } else {//输入的不存在 19 //将其内容插入进去...php 2 /* 3 * 一些注释在creathtml.php文件中已写 4 * */ 5 require '....= mysql_fetch_array($result_content, MYSQL_ASSOC); 16 //将其请求的内容返回 17 echo json_encode($row_content...> 下面是测试截图: 一:未开始前 MySQL ? 文件目录中: ? 二:使用开始 网页截图: ? 输入内容 ? 点击提交 ? 点击链接 ? mysql截图: ? 文件目录截图 ?

    4.4K60

    用BigDump工具导入超大MySQL数据库备份文件

    它在读取 SQL 文件时,每次只读取一小部分,将其导入,然后重新开始一次恢复进程,再读取一小部分…… 周而复始,直到将整个 SQL 文件全部导入。...数据库字符编码为 utf-8。我们演示一下如何通过 bigdump.php 工具将这个备份文件恢复到在线数据库中去。...2、上传 MySQL 数据库备份文件现在需要将数据库备份文件上传到 bigdump.php 所在的 /tmp 目录中。...考虑到文件较大,我们通过FTP 软件 FileZilla 上传zip 格式的文件,然后借助 Joomla 后台安装的 eXtplorer 资源管理器组件将其远程解压,在 /tmp 目录中得到 gate2...这是因为 phpMyAdmin 在导出数据库时,已经默认勾选了“使用扩展插入”。

    7.3K30

    MySQL5.7特性:JSON数据类型学习

    在此版本之前,MySQL所有的JSON数据类型,全部是使用text等文本类型来实现的,数据的处理只能在应用代码级来实现,十分不方便。...存储在JSON列中的JSON文档将 转换为内部格式,以允许对文档元素进行快速读取访问。 相比于传统形式,不需要遍历所有字符串才能找到数据。...我们手动插入几条数据进这张表中,在前两条数据中,在个人能力信息上使用的是数组的方式,,后面两条则是使用对象的形式。...数据查询方式 在插入了json类型的数据之后,可以针对JSON类型做一些特定的查询,如查询年龄大于20的记录 在SQL的语句中使用 字段->.键名 就可以查询出所对应的键值 MySQL [test]>...数据修改方式 如果是整个 json 更新的话,和一般类型插入是一样的 json_array_insert是在指定下标插入,这是插入一般数组类型时的操作 MySQL [test]> SELECT json_array_insert

    7.7K20
    领券