首页
学习
活动
专区
圈层
工具
发布

关于mysql导入大文本txt文件

前几天在偶然的情况下,获得了一个18G的txt文件,现在需要导入到数据库中,那么该怎么导入才能保证高效并且稳定呢?...mysql插入效率 首先应该知道的就是mysql的插入效率跟下面几个点有关 1:mysql数据库引擎,myisam,innodb,甚至是memory的插入效率都是不一样 2:索引,索引也会导致插入效率变慢...3:唯一索引冲突,在插入mysql数据库时,如果有相同数据,将会报错,降低插入效率 4:mysql硬盘,机械硬盘跟固态硬盘的插入效率也是不一样的 5:导入方法,单线程多线程等 6:mysql配置项,各种缓存区大小配置...数据库引擎 我们先测试下myisam 和innodb的插入效率对比,至于memory就不测试了.没有必要....` bigint(20) DEFAULT NULL,   PRIMARY KEY (`id`) ) ENGINE=MyISAM DEFAULT CHARSET=utf8; 2者都通过 Navicat txt

5.3K30
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySQL LOAD DATA INFILE—从文件(csv、txt)批量导入数据

    需要开启对"load data inflie"的权限支持     mysqlcur.execute("SET GLOBAL local_infile = 1") (2)需要对mysql文件目录(笔者:...可以在读的同时支持写入,不过速度会稍微下降一点,笔者测试环境影响不大 (4)IGNORE 1 LINES (跳过第一行) 笔者通过python pandas to_csv()导出的csv是带标题的,如下: 不需要标题导入到数据库...,就跳过嘛 (5)@dummy ,通过占位符,跳过不需要的数据 导入到表的column顺序必须和文件保持一致,通过@dummy可以跳过不需要的column(示例跳过totoal_flow_size 和...区别在于:一个是插入一条,创建一个索引;一个是全部导入完了后,再一次创建所有索引。...引用:  如何导入5亿条数据到mysql — https://derwiki.tumblr.com/post/24490758395/loading-half-a-billion-rows-into-mysql

    11.5K11

    【三桥君】如何将sql文件导入到Navicat for MySQL中的方法?

    如何将 SQL 文件导入到 Navicat for MySQL 中 一、引言 Navicat for MySQL 是一款广泛使用的数据库管理工具,能够帮助用户高效地管理和操作 MySQL 数据库。...在实际工作中,我们经常需要将 SQL 文件导入到 Navicat for MySQL 中,以便进行数据分析和处理。那么,如何将 SQL 文件导入到 Navicat for MySQL 中呢?...导入方法一:直接拖拽 说明:通过拖拽 SQL 文件到 Navicat for MySQL 中,可以快速实现导入。...SQL 文件导入到 Navicat for MySQL 中。...通过以上内容,我们详细介绍了如何将 SQL 文件导入到 Navicat for MySQL 中。三桥君希望这些知识能够帮助你在数据库管理中更加高效地完成任务。

    3K10

    如何将 IPhone 的文件导入 Linux

    如何将 IPhone 的文件导入 Linux 完全免费方案。 方法一: 使用 Koder 的 Local File Access 功能 这方法不需要在 Linux 端做任何配置。...koder 打开 IPhone 的文件功能 长按你要拷贝的目录或者文件 选择:拷贝 移动到 我的IPhone --> Koder --> Local 下 长按空白处 选择粘贴 在你的 Linux...点击左下角的 + 在 Edit Connection 中 Item Value Name 随便一个名字,一般和 Host Name 一致 Host Name User Name Password...Port default is 22 或者 你设置的端口号 Connection SFTP 拷贝文件到 koder 打开 IPhone 的文件功能 长按你要拷贝的目录或者文件 选择:拷贝 移动到...我的IPhone --> Koder --> Local 下 长按空白处 选择粘贴 上传文件 进入应用 Koder 选择第一个 Tab,可以看到你的文件 点击 Select 选择你的目录或者文件

    3.8K10

    DBA | 如何将 .bak 的数据库备份文件导入到SQL Server 数据库中?

    如何将(.bak)的SQL Server 数据库备份文件导入到当前数据库中?...Corporation Enterprise Edition (64-bit) on Windows NT 6.2 (Build 9200: ) (Hypervisor) Step 2.将要导入的数据库文件上传到...weiyigeek.top-新建一个数据库图 Step 3.输入新建的数据库名称czbm,请根据实际情况进行调整数据库文件,选项,以及文件组中的相关参数,最后点击“确定”按钮。...weiyigeek.top-还原数据库选项图 Step 5.在还原数据库中,选择源设备,在磁盘选择要还原的数据库bak文件,点击确定即可,点击【选项】,勾选覆盖现有数据库(WITH REPLACE),其他选项请根据需要进行选择...除此之外,我们还可以采用SQL语句导入数据库文件,选中某个数据库文件,右键点击【新建查询】,再代码界面输入如下代码,点击F5键或者点击运行按钮即可。

    11.8K10

    TiDB Lightning导入超大型txt文件实践

    data.txt或者data.csv,一般主流的数据库都支持把这类文件直接导入到对应的表中。...在 TiDB 中我们想导入csv文件可以选择的方式有Load Data和Lightning,但是从官方文档得知,这两种方式都没有明确表示支持txt文件导入。...但是经过实测,实际上都能够支持txt格式文件,Load Data参考csv导入即可,本文重点介绍Lightning如何导入txt数据,毕竟数据量很大的时候还得靠Lightning。...txt文件导入。...csv' 可以发现这个配置是写死了库名、表名、以及文件名的,单个文件导入这样做没问题,如果有一大批txt需要导入,每个文件写一套配置肯定是不行,这时候需要用到它的正则解析特性。

    2.4K10

    DBA | 如何将 .mdf 与 .ldf 的数据库文件导入到SQL Server 数据库中?

    如何将 (.mdf) 和 (.ldf) 的SQL Server 数据库文件导入到当前数据库中?...(.mdf) 格式的czbm.mdf文件,请根据实际情况进行设置附加数据库相关参数,注意不能与当前数据库中的数据库名称同名,最后点击“确定”按钮。...weiyigeek.top-添加设置附加数据库图 或者采用SQL语句导入数据库文件,选中某个数据库文件,右键点击【新建查询】,再代码界面输入如下代码,点击F5键或者点击运行按钮即可。...= 'Ldf文件路径(包缀名)' GO weiyigeek.top-采用SQL语句导入数据库文件图 或者将mdf文件和ldf文件拷贝到数据库安装目录的DATA文件夹下,执行下述SQL,再刷新数据库文件即可...ldf文件拷贝DATA文件夹下图 Step 4.导入后查询库中导入全部表的行数。

    12.5K10
    领券