首页
学习
活动
专区
圈层
工具
发布

关于mysql导入大文本txt文件

前几天在偶然的情况下,获得了一个18G的txt文件,现在需要导入到数据库中,那么该怎么导入才能保证高效并且稳定呢?...mysql插入效率 首先应该知道的就是mysql的插入效率跟下面几个点有关 1:mysql数据库引擎,myisam,innodb,甚至是memory的插入效率都是不一样 2:索引,索引也会导致插入效率变慢...3:唯一索引冲突,在插入mysql数据库时,如果有相同数据,将会报错,降低插入效率 4:mysql硬盘,机械硬盘跟固态硬盘的插入效率也是不一样的 5:导入方法,单线程多线程等 6:mysql配置项,各种缓存区大小配置...数据库引擎 我们先测试下myisam 和innodb的插入效率对比,至于memory就不测试了.没有必要....` bigint(20) DEFAULT NULL,   PRIMARY KEY (`id`) ) ENGINE=MyISAM DEFAULT CHARSET=utf8; 2者都通过 Navicat txt

5.3K30
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySQL LOAD DATA INFILE—从文件(csv、txt)批量导入数据

    需要开启对"load data inflie"的权限支持     mysqlcur.execute("SET GLOBAL local_infile = 1") (2)需要对mysql文件目录(笔者:...可以在读的同时支持写入,不过速度会稍微下降一点,笔者测试环境影响不大 (4)IGNORE 1 LINES (跳过第一行) 笔者通过python pandas to_csv()导出的csv是带标题的,如下: 不需要标题导入到数据库...,就跳过嘛 (5)@dummy ,通过占位符,跳过不需要的数据 导入到表的column顺序必须和文件保持一致,通过@dummy可以跳过不需要的column(示例跳过totoal_flow_size 和...区别在于:一个是插入一条,创建一个索引;一个是全部导入完了后,再一次创建所有索引。...引用:  如何导入5亿条数据到mysql — https://derwiki.tumblr.com/post/24490758395/loading-half-a-billion-rows-into-mysql

    11.5K11

    如何将 Text, XML, CSV 数据文件导入 MySQL

    原文出处: freenik@Jianshu 将 外部数据导入(import)数据库是在数据库应用中一个很常见的需求。...(比如数据库,这里我们讨论MySQL)。...本文大纲: 将Text文件(包括CSV文件)导入MySQL 将XML文件导入MySQL 将JSON文件导入MySQL 使用MySQL workbench的Table Data Export and Import...将Text文件(包括CSV文件)导入MySQL 这里我们的讨论是基于一个假定,Text file和CSV file是有着比较规范的格式的(properly formatted),比如说每行的每个数据域(...将XML文件导入MySQL 这件事的完成方式,与我们的XML的形式有着很大的关系。 举个例子说,当你的XML数据文件有着很非常规范的格式,比如: <?xml version="1.0"?

    9.5K80

    如何将 IPhone 的文件导入 Linux

    如何将 IPhone 的文件导入 Linux 完全免费方案。 方法一: 使用 Koder 的 Local File Access 功能 这方法不需要在 Linux 端做任何配置。...koder 打开 IPhone 的文件功能 长按你要拷贝的目录或者文件 选择:拷贝 移动到 我的IPhone --> Koder --> Local 下 长按空白处 选择粘贴 在你的 Linux...上使用浏览器打开显示的链接 这时你可以选择对应的文件,然后下载。...koder 打开 IPhone 的文件功能 长按你要拷贝的目录或者文件 选择:拷贝 移动到 我的IPhone --> Koder --> Local 下 长按空白处 选择粘贴 上传文件 进入应用...Koder 选择第一个 Tab,可以看到你的文件 点击 Select 选择你的目录或者文件 Koder 似乎不支持上传目录,所以如果你要上传目录,选择功能 Zip 选择好上传的文件后,选择功能 FTP

    3.8K10

    TiDB Lightning导入超大型txt文件实践

    data.txt或者data.csv,一般主流的数据库都支持把这类文件直接导入到对应的表中。...在 TiDB 中我们想导入csv文件可以选择的方式有Load Data和Lightning,但是从官方文档得知,这两种方式都没有明确表示支持txt文件导入。...但是经过实测,实际上都能够支持txt格式文件,Load Data参考csv导入即可,本文重点介绍Lightning如何导入txt数据,毕竟数据量很大的时候还得靠Lightning。...txt文件导入。...csv' 可以发现这个配置是写死了库名、表名、以及文件名的,单个文件导入这样做没问题,如果有一大批txt需要导入,每个文件写一套配置肯定是不行,这时候需要用到它的正则解析特性。

    2.4K10

    如何通过Python将CSV文件导入MySQL数据库?

    CSV文件导入数据库一般有两种方法: 1、通过SQL的insert方法一条一条导入,适合数据量小的CSV文件,这里不做赘述。...2、通过load data方法导入,速度快,适合大数据文件,也是本文的重点。...样本CSV文件如下: 总体工作分为3步: 1、用python连接mysql数据库,可参考如何使用python连接数据库?...2、基于CSV文件表格字段创建表 3、使用load data方法导入CSV文件内容 load data语法简介: LOAD DATA LOCAL INFILE 'csv_file_path' INTO...原因是不支持命令 load data 解决方法: 需要更改下配置文件 在mysql安装目录中找到my.ini配置文件,复制以下内容到文件中 [mysqld] #服务端配置 local-infle

    13.8K10

    如何将文件名称批量导入excel

    有些时候需要将文件名称批量导出,一个个复制又很麻烦,怎么批量将文件名导入呢? 如果你是Windows 8.1以上的用户,其实很简单 ?...选中你要导入的文件>>点击复制路径>>打开excel并粘贴>>替换掉前面的路径 ? 将路径替换掉 ? 替换为留空 这样就得到一批文件的名称了。...新建一个txt文档,输入以下代码 dir C:\Users\TungHsu\Desktop\show/b> C:\Users\TungHsu\Desktop\show\1.xlsx 如图: ?...当然,这个代码要根据自己的情况来 dir 文件夹所在目录/b >要导入的excel所在的目录(系统会新建一个excel文件,或者自行选择其他文件类型) 将txt后缀改为.bat,如下图 ?...双击运行该文件,这个时候指定的文件夹就多出来了个excel文件 ? 打开以后就是导入的文件名称了 ?

    6.2K20

    【MySQL】Mysql数据库导入导出sql文件、备份数据库、迁移数据库

    本文将详细介绍MySQL数据库导入导出SQL文件的方法,包括相关知识讲解、代码示例以及实际应用案例。...迁移:将数据库从一个服务器迁移到另一个服务器。 数据恢复:在数据损坏或丢失时,使用备份文件恢复数据。 三、导入导出工具 mysqldump:MySQL自带的命令行工具,用于导出数据库。...mysql:MySQL的命令行客户端,用于执行SQL语句,包括导入SQL文件。...SQL文件: # 导入整个数据库 mysql -u username -p database_name < database_backup.sql # 导入特定表(需要先创建表结构) mysql -u...导入导出操作可能需要较长时间,具体取决于数据库的大小。 确保备份文件的安全性,避免未授权访问。

    7.2K10

    修改phpMyAdmin导入MySQL数据库文件大小限制

    说明:有时候网站内容多了,数据库也自然增大了,我们在迁移网站的时候发现数据过大,导致导入数据库超过了phpmyadmin自身的限制,无法直接导入,一般会出现如下提示:”No data was received...See FAQ 1.16.”不过我们可以修改phpmyadmin导入文件的大小限制来实现。...这里说下2种方法,一般第一种就可以了,如果不行,就进行第二步,不过虚拟主机用户是无法修改这些文件的,如果数据库文件太大,只能单表导出。...2、查找File Uploads,首先确认file_uploads = on;是否允许通过HTTP上传文件的开关,默认为ON即是开。...3、查找upload_max_filesize;即允许上传文件大小的最大值。默认为2M。 如果要上传>8M的文件,那么只设置上述四项还不定一定可以。

    8K50
    领券