首页
学习
活动
专区
圈层
工具
发布

关于mysql导入大文本txt文件

前几天在偶然的情况下,获得了一个18G的txt文件,现在需要导入到数据库中,那么该怎么导入才能保证高效并且稳定呢?...mysql插入效率 首先应该知道的就是mysql的插入效率跟下面几个点有关 1:mysql数据库引擎,myisam,innodb,甚至是memory的插入效率都是不一样 2:索引,索引也会导致插入效率变慢...3:唯一索引冲突,在插入mysql数据库时,如果有相同数据,将会报错,降低插入效率 4:mysql硬盘,机械硬盘跟固态硬盘的插入效率也是不一样的 5:导入方法,单线程多线程等 6:mysql配置项,各种缓存区大小配置...数据库引擎 我们先测试下myisam 和innodb的插入效率对比,至于memory就不测试了.没有必要....` bigint(20) DEFAULT NULL,   PRIMARY KEY (`id`) ) ENGINE=MyISAM DEFAULT CHARSET=utf8; 2者都通过 Navicat txt

5.3K30
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySQL LOAD DATA INFILE—从文件(csv、txt)批量导入数据

    可以在读的同时支持写入,不过速度会稍微下降一点,笔者测试环境影响不大 (4)IGNORE 1 LINES (跳过第一行) 笔者通过python pandas to_csv()导出的csv是带标题的,如下: 不需要标题导入到数据库...,就跳过嘛 (5)@dummy ,通过占位符,跳过不需要的数据 导入到表的column顺序必须和文件保持一致,通过@dummy可以跳过不需要的column(示例跳过totoal_flow_size 和...") mysqlcur.execute("SET SESSION sql_log_bin = 1") “DISABLE KEYS” 然后 “ENABLE KEYS”,笔者实际测试没什么用,只是导入数据更快...区别在于:一个是插入一条,创建一个索引;一个是全部导入完了后,再一次创建所有索引。...引用:  如何导入5亿条数据到mysql — https://derwiki.tumblr.com/post/24490758395/loading-half-a-billion-rows-into-mysql

    11.5K11

    MySQL 数据库的导入导出

    目录 ---- 目录 导出数据库 导出数据和表结构 只导出表结构 导入数据库 首先建空数据库 导入数据库 ---- 导出数据库: 导出数据和表结构: 格式: mysqldump -u用户名 -...p密码 数据库名 > 数据库名.sql 举例: /usr/local/mysql/bin/ mysqldump -uroot -p abc > abc.sql 敲回车后会提示输入密码 只导出表结构...注:/usr/local/mysql/bin/ —> mysql的data目录 导入数据库 首先建空数据库 mysql>create database abc; 导入数据库 方法一: 选择数据库...mysql>use abc; 设置数据库编码 mysql>set names utf8; 导入数据(注意sql文件的路径) mysql>source /home/abc/abc.sql;...方法二: mysql -u用户名 -p密码 数据库名 数据库名.sql mysql -uabc_f -p abc < abc.sql

    21.9K20

    视频平台如何将旧数据库导入到新数据库?

    我们在此前的文章中和大家介绍过关于TSINGSEE青犀视频平台数据库切换、迁移等相关的技术操作文章,以及在操作过程中用户遇到的疑问解决,感兴趣的用户可以自行搜索了解。...图片在使用场景中,我们也会遇到用户现场需要升级或替换版本的需求,但是在操作过程中却出现了旧版本数据库无法使用的情况。那么这时候就需要在新的数据库中导入数据,具体应该如何操作?...1)在navicat中打开新旧版本的数据库easycvr.db文件,找到对应的5个表,如图:图片2)以表DBChannelInfo为例,右击选择数据表,可以看到所有的属性:图片与新版本流媒体软件的数据库...easycvr.db文件进行对比,调整属性的位置,增加缺少的属性:图片3)导出数据库,选择全部记录,注意,导出格式为SQL:图片图片4)打开对应的新数据库的DBChannelInfo表,产出表内的所有记录...5)保存数据库easycvr.db文件,并刷新EasyCVR平台登录页面,数据库导入步骤完成。

    2.6K20

    如何将 MySQL 数据库共享给他人?

    共享 MySQL 数据库可以分为两种类型:一种是共享所有数据库给他人,另一种是共享部分数据库给他人。本文将介绍如何实现这两种共享方式,并提供详细的步骤指南。 共享所有数据库给他人 1....连接到 MySQL 数据库 首先,我们需要通过终端连接到 MySQL 数据库,输入以下命令: mysql -u root -p 2....选择要使用的数据库 连接成功后,我们需要选择要使用的数据库,通常可以选择系统自带的 mysql 数据库: use mysql; 3....结语 通过本文的介绍,我们了解了如何将 MySQL 数据库共享给他人。无论是共享所有数据库还是共享部分数据库,都可以根据实际需求选择合适的方式,并按照上述步骤进行操作。...愿本文能够帮助到你,顺利地实现 MySQL 数据库的共享功能!

    1.1K10

    如何将MyEclipse项目导入eclipse

    我们经常会在网上下载一些开源项目,或者从别的地方迁移一些项目进来,但经常会发现导入后各种报错。这是初学java肯定会遇到的问题,本文对一些常见的处理方案做一个总结。...(本文将MyEclipse项目导入eclipse的过程为例,其他情况也可参考这个流程) 这是一个用MyEclipse新建的web项目 现在,要把它导入eclipse,让我们一探究竟,到底会发生什么有趣的事情呢...打开eclipse 在左侧项目视图的空白处右键: Import -- Import -- General -- Existing Projets into Workspace Next,然后选择需要导入的项目...然后点击Finish,项目就被导入进来了。 项目出现红叉,因为有些地方需要重新配置一下。 首先,之前的MyEclipse中,用到的 jdk 或者 jre 十有八九是不一样的。

    1.5K10

    Mysql数据库导入excel和乱码问题

    mysql数据库和sqlite数据库是我们做开发最常用到的两种数据库,在我们使用mysql数据库开发时,导入excel出现中文乱码,下面的name、channel和msg这三个字段都出现了乱码的情况,只有数字是正常的...1、首先,先得到一个excel表,里面有需要我们导入的数据。 2、导入数据库,需要先把excel表转成csv格式,这样数据库才可以导入此后缀名。...4、进入mysql首先创建一个表,然后选中该表。使用工具中“导入csv文件”,注意字段分隔符改为“,”,在目标 -> 表 ->新建表;随后一直点击确定就行了。...改成utf8编码,这样再重新导入就没问题了。 先记事本打开.csv文件,在另存里会看到文件的编码格式(ANSI)。 所以上面的步骤成功导入数据库,文件的编码是ANSI格式。...再使用相同步骤把.csv导入数据库,修改后再查看就不会出现乱码情况。

    12.9K10

    MySQL数据库(七):数据导出与导入

    一、数据导入 1.什么是导入:把系统文件的内容保存到数据库服务器的表里 2.导入数据时的注意事项?...二、数据导出 1.什么是导出:把数据库表里的记录保存到系统文件里 吧mysql库下user表的所有记录保存到系统/tmp/user.txt文件里 2.导出的注意事项?...导出的内容有sql语句决定,若不指定路径,默认会放在执行导出命令时所在库对应的数据库目录下,应确保mysql用户对目标文件夹有写权限 3.导出数据命令格式:(不指定路径的话,默认文件保存在当前所在数据库的目录下...; 4.例子 导出mysql.user表到/tmp/user.txt mysql> select * from mysql.user into outfile '/tmp/user.txt'; Query...OK, 15 rows affected (0.00 sec) 把usertab表的所有记录都保存在/mydbdir/user.txt文件里 mysql> use db100; Database

    13.9K50

    PhpMyAdmin创建导入导出MySQL数据库教程

    内容提要 PhpMyAdmin是网站管理员必须懂得使用的程序,很多新手都不会操作,笔者将图文演示使用PhpMyAdmin创建、导入、导出MySQL数据库的全过程。...一、创建MySQL用户及数据库 注:一般而言,只有PhpMyAdmin的超级管理员才可以直接使用PhpMyAdmin来创建用户和数据库,一般的虚拟主机用户是无法操作这一步的。...1.使用超级管理员账号(一般为root)登录后,点击【权限】>【添加新用户】 2.按照下图填写信息,一步步操作,最后点击【执行】就创建成功了: 二、导入MySQL数据库 注:接下来的导入和导出数据库的功能...1.点击左边栏数据库,然后点击【导入】>浏览选择你的数据库文件,最后点击【执行】 2.导入成功 三、导出MySQL数据库 在左边栏点击你要导出的数据库,然后点击【导出】>【全选】>勾选【另存为文件】...使用PhpMyAdmin创建、导入、导出MySQL数据库的教程就到这里,PhpMyAdmin的功能很强大,需要大家慢慢学习,如果你有疑问,欢迎在下面留言告知我们;

    14.5K20
    领券