首页
学习
活动
专区
圈层
工具
发布

如何通过Python将CSV文件导入MySQL数据库?

CSV文件导入数据库一般有两种方法: 1、通过SQL的insert方法一条一条导入,适合数据量小的CSV文件,这里不做赘述。...2、通过load data方法导入,速度快,适合大数据文件,也是本文的重点。...样本CSV文件如下: 总体工作分为3步: 1、用python连接mysql数据库,可参考如何使用python连接数据库?...2、基于CSV文件表格字段创建表 3、使用load data方法导入CSV文件内容 load data语法简介: LOAD DATA LOCAL INFILE 'csv_file_path' INTO...原因是不支持命令 load data 解决方法: 需要更改下配置文件 在mysql安装目录中找到my.ini配置文件,复制以下内容到文件中 [mysqld] #服务端配置 local-infle

13.8K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    关于mysql导入大文本txt文件

    前几天在偶然的情况下,获得了一个18G的txt文件,现在需要导入到数据库中,那么该怎么导入才能保证高效并且稳定呢?...mysql插入效率 首先应该知道的就是mysql的插入效率跟下面几个点有关 1:mysql数据库引擎,myisam,innodb,甚至是memory的插入效率都是不一样 2:索引,索引也会导致插入效率变慢...3:唯一索引冲突,在插入mysql数据库时,如果有相同数据,将会报错,降低插入效率 4:mysql硬盘,机械硬盘跟固态硬盘的插入效率也是不一样的 5:导入方法,单线程多线程等 6:mysql配置项,各种缓存区大小配置...数据库引擎 我们先测试下myisam 和innodb的插入效率对比,至于memory就不测试了.没有必要....bigint(20) DEFAULT NULL,   PRIMARY KEY (`id`) ) ENGINE=MyISAM DEFAULT CHARSET=utf8; 2者都通过 Navicat txt导入方式导入

    5.3K30

    将excel文件导入到数据库

    ://blog.csdn.net/jayxujia123/article/details/13684313 参考:http://kevin850115.iteye.com/blog/578142 MySQL...官网:http://dev.mysql.com/doc/refman/5.7/en/load-data.html 学弟有个面试题,在群里问了下如何将excel文件导入到数据库。...以前也没试过,正好在学习MySQL,练练手吧。 首先,将excel文件另存为用逗号分隔的csv文件,传到linux服务器上,假设叫做test.csv。...用sed命令将第一行的列名称去掉sed -i '1p' test.csv  然后建库建表的命令的就得手工进行了,根据具体的表结构,大致命令如下: > CREATE DATABASE `demo`; >...确保表结构和我们的原始EXCEL 的一致后,可用执行导入数据操作了,如下: > load data local infile '/root/test.csv' into table tb1 fields

    6.9K30

    Java调用SqlLoader将大文本导入数据库

    Java调用SqlLoader将大文本导入数据库 业务场景:将一千万条数据,大约500M的文本文档的数据导入到数据库   分析:通过Java的IO流解析txt文本文档,拼接动态sql实现insert入库...,可以实现,缺点如下 第一:IO流解析大文本文件对机器性能要求较高,测试大约消耗2G左右的内存 第二:拼接sql语句insert一千万条数据大约需要2小时时间,长时间insert会锁表,如果是核心业务表...,例如订单表,会造成大量用户无法下单,影响数据库的性能 第三:这种操作可扩展性不强,每次只能针对指定的表,指定的列操作 针对以上缺点,现在通过接口调用数据库系统命令实现,通过可视化界面,选择要导入的表,...要导入那些字段,上传指定的txt文本,会自动生成对应的模板文件,实现大批量数据高效率的导入到数据库,通过可配置化即可实现,相对前一种思路扩展性较强, 具体接口如下 1 package com.sun.sqlloader.api...31 * @param pwd 数据库的密码 32 * @param database 连接数据库的地址 33 * @param fileRoute 文件路径 34

    1.9K30

    Java 实现文件批量导入导出最佳实践(兼容xls,xlsx)

    编辑:业余草 来自:cnblogs.com/laoyeye/p/6938889.html 1、介绍 java实现文件的导入导出数据库,目前在大部分系统中是比较常见的功能了,今天写个小demo来理解其原理...目前我所接触过的导入导出技术主要有POI和iReport,poi主要作为一些数据批量导入数据库,iReport做报表导出。...2.3.2 对象 本文主要介绍HSSF和XSSF两种组件,简单的讲HSSF用来操作Office 2007版本前excel.xls文件,XSSF用来操作Office 2007版本后的excel.xlsx文件...3、代码操作 3.1 效果图 惯例,贴代码前先看效果图 Excel文件两种格式各一个: ? 代码结构: ? 导入后:(我导入了两遍,没做校验) ? 导出效果: ?...studentMapper; /** * 导入Excel,兼容xls和xlsx */ @SuppressWarnings("resource") public

    5.5K41

    测试使用navicat工具将MySQL格式SQL文件导入到MogDB数据库

    前言 当我们想把mysql格式的SQL文件导入到MogDB数据库时,我们可以借助navicat工具,先将SQL文件导入到mysql数据库中,再使用数据传输功能把SQL中的对象和数据直接导入到MogDB...操作方法 Part 1:将mysql格式SQL文件(mysql.sql)导入到mysql的test数据库: mysql.sql 文件内容: CREATE TABLE `mysql` ( `ID` int...2:从mysql的test数据库导入到MogDB数据库 方法一:将导入到test数据库的数据库对象导出到MogDB的mys数据库。...选择要传输的数据库对象,点击下一步: 确认无误后,点击开始: 传输完成后点击关闭: SQL文件中的对象成功导入到MogDB数据库: 方法二:将导入到test数据库的数据库对象导出为PostgreSQL...mysql" ADD PRIMARY KEY ("ID"); 打开MogDB,右键点击mysql数据库选择运行SQL文件,将export.sql文件导入: 确认无误,点击开始。

    5.1K30

    将OpenStreetMap导出的OSM数据导入MySQL数据库

    import-osm-data-into-mysql-2.png 我们点击红框内的导出按钮可以导出上面默认区域(两个经纬度组成的区域)内的全部地图数据(街道、建筑等),导出数据文件的后缀格式为.osm,...默认导出文件的名称为map.osm。...安装osmosis 我们已经导出了地图数据(map.osm),我们可以通过osmosis来实现数据导入数据库,osx系统可以通过brew进行安装,如下所示: yuqiyu@hengyu ~> brew...install osmosis 初始化数据库表 通过osmosis导入到数据库时,需要提前创建数据库以及数据表,点击 下载MySQL建表语句。...导入数据库 yuqiyu@hengyu ~> osmosis --read-xml file="/Users/yuqiyu/Downloads/map.osm" --write-apidb-0.6 host

    6.3K20

    如何将 Text, XML, CSV 数据文件导入 MySQL

    原文出处: freenik@Jianshu 将 外部数据导入(import)数据库是在数据库应用中一个很常见的需求。...本文要讨论的内容,是如何方便地将多种格式(JSON, Text, XML, CSV)的数据导入MySQL之中。...本文大纲: 将Text文件(包括CSV文件)导入MySQL 将XML文件导入MySQL 将JSON文件导入MySQL 使用MySQL workbench的Table Data Export and Import...将Text文件(包括CSV文件)导入MySQL 这里我们的讨论是基于一个假定,Text file和CSV file是有着比较规范的格式的(properly formatted),比如说每行的每个数据域(...将XML文件导入MySQL 这件事的完成方式,与我们的XML的形式有着很大的关系。 举个例子说,当你的XML数据文件有着很非常规范的格式,比如: <?xml version="1.0"?

    9.5K80

    VBA: 使用递归法将xls文件批量转化为xlsm文件

    相比于xlsm文件,采用xls格式存在一些不足之处:一是保存同样的内容,xls文件占用空间相对更大;二是xls文件能支持的单元格格式个数是4,000;而xlsm文件能支持的单元格格式个数是64,000。...因此,有必要将xls文件另存为xlsm文件。 由于文件夹内有二三十份xls文件,如果一个个打开xls文件,另存为xlsm格式,这样操作起来比较费时费力。...If .SelectedItems.Count > 0 Then TextBox1.Text = .SelectedItems(1) '将选中的文件夹路径添加到文本框...LookUpAllFiles outFld '递归法,调用自身 Next End Sub Sub ConvertFile(filepath As String) '将xls...TextBox1.Text = "E:\报告模板" End Sub 注意:上述代码将xls文件转化为xlsm文件的同时,删除原有的xls文件。

    2.7K20

    【MySQL】Mysql数据库导入导出sql文件、备份数据库、迁移数据库

    在数据库管理过程中,我们经常需要导入或导出数据,以进行备份、迁移或数据恢复。 本文将详细介绍MySQL数据库导入导出SQL文件的方法,包括相关知识讲解、代码示例以及实际应用案例。...迁移:将数据库从一个服务器迁移到另一个服务器。 数据恢复:在数据损坏或丢失时,使用备份文件恢复数据。 三、导入导出工具 mysqldump:MySQL自带的命令行工具,用于导出数据库。...mysql:MySQL的命令行客户端,用于执行SQL语句,包括导入SQL文件。...SQL文件: # 导入整个数据库 mysql -u username -p database_name < database_backup.sql # 导入特定表(需要先创建表结构) mysql -u...> source_database_backup.sql 然后,将备份文件传输到目标服务器,并使用mysql导入: mysql -u username -p target_database_name

    7.2K10
    领券