使用Python将大型CSV文件导入MySQL

文章/答案/技术大牛

发布

1回答

python、mysql、csv

我正在尝试使用Python3.7将大型CSV文件中的一列导入到MySQL中。这是作为导入其余列的测试运行来完成的。目前，我甚至不能将这一列放入数据库。我希望能找到一些帮助。我已经设置了一个数据库，其中有一个表，并且只有一个用于测试数据的字段： mysql> use aws_bill+------:

浏览 18提问于2019-04-29得票数 0

回答已采纳

2回答

将大型csv文件导入mySql

mysql、csv

我正在尝试将300 mg csv文件导入到mySql表中。我使用这个命令：INTO TABLE tableLINESTERMINATED BY '\r\n'它对小文件(1 mg等等

浏览 0提问于2015-11-27得票数 6

回答已采纳

3回答

将大型CSV文件导入MySQL

php、mysql、load-data-infile、fgetcsv

我正在尝试将csv文件导入到mysql表中，目前我有一个逐行运行的脚本，因为我需要将一个id与另一个id组合在一起，并将日期格式化为mysql格式。我读到了LOAD DATA INFILE ()，但我想知道如何使用它，在不执行逐行执行的情况下，对ids进行散列并格式化日期。这就是我所拥有的： $url = 'http:&#x

浏览 1提问于2012-09-27得票数 4

回答已采纳

2回答

将大型csv文件导入mysql

mysql、csv

正如所有建议的加载数据本地文件一样，我也使用了相同的查询，但我得到了错误。LOAD DATA LOCAL INFILE '/home/invensis/phygital_visualize/csv/originalcsv/lic.csv'FIELDSTERMINATED by ’,’IGNORE 1 ROWS; MySQL said

浏览 23提问于2017-02-27得票数 0

回答已采纳

1回答

将数据从Blob移动到SQL数据库

mysql、azure、azure-storage、azure-blob-storage、azure-sql-database

目前，我正在将传感器从Azure Blob存储中读取数据移动到SQL数据库中。我有多个.csv文件，在这些文件中有不同的列，它们保存日期(格式为: 25/4/2017)、时间、sensor_location和sensor_readings。我的问题是，如果我想使用Logic根据各自的列来存储数据，我应该采取什么步骤？以及如何将第二个文件数据推入第一个文件数据之后的行中？谢谢

浏览 1提问于2017-04-25得票数 1

回答已采纳

5回答

将sqlite文件转换为mysql

mysql、ubuntu、sqlite

我有一个.sqlite文件，我想把它转换成mysql。那么有没有办法把它转换成mysql呢?我用的是ubuntu。那么有没有什么shell脚本可以改变它呢？任何帮助都将是非常值得感谢的。

浏览 3提问于2011-07-16得票数 5

1回答

从带有头的CSV文件创建表

mysql、csv、mysql-workbench、sqoop

我希望在不手动创建表的情况下将带有头(100+列)的大型csv文件导入到MySQL中。我已经准备好使用从MySQL工作台到Sqoop或任何其他Hadoop工具的任何工具。

浏览 2提问于2017-05-16得票数 1

1回答

通过在表上附加数百行来更新表

mysql、sql

因此，如果只需要添加几行，我想要完成的任务就很简单，但我需要添加几百行，这是一个CSV文件的形式。将csv文件上传为另一个表，以某种方式使用附加行的合并。两个表中的列的顺序是不同的。它们有完全相同的列，但它们的顺序不同。此外，sql表在csv文件.的表中没有显示一个额外的列。我很好奇如何尝试行的“垂直”合并，当列的顺序不同时，以及当我的列比原始表少

浏览 0提问于2019-11-01得票数 0

回答已采纳

3回答

最佳实践:使用PHP5.x将CSV导入MYSQL数据库

php、sql

将大量记录导入MySQL或的最佳解决方案是什么。我认为有两种方法：我不确定你的表现是不是更好？

浏览 0提问于2009-07-07得票数 0

回答已采纳

1回答

我试图使用以下代码将一个大型csv文件(500万行)导入本地MySQL数据库：import pandas as pd from sqlalchemy import create_engineengine = create_engine('mysql+mysqlconnector://[username]:[password]@[host]:[port]/[schema]', echo=Fals

浏览 1提问于2021-04-08得票数 0

回答已采纳

6回答

查询期间失去了与MySQL服务器的连接？

mysql

可能重复：出什么问题了？错误代码为2013:在查询期间丢失到mySql服务器的连接。我正在windows服务器上的ubuntu机器上远程运行这些查询。

浏览 13提问于2011-06-29得票数 41

回答已采纳

3回答

如何将大的.text文件合并到一个.csv中？

python、csv、export-to-csv

我有几个要合并到一个.csv文件中的大型.text文件。但是，每个文件都太大，无法单独导入到Excel中，更不用说全部一起导入了。我想创建和使用pandas来分析数据，但不知道如何将所有文件放在一个地方。有问题的数据是联邦选举委员会网站上的文件。*而且我使用<

浏览 5提问于2019-12-19得票数 0

1回答

MYSQL数据导入

mysql、sql、sql-server

我正在尝试将一个大型csv文件导入到MySQL中。它大约是1.4 GB，由大约1 1MM行和100列组成。我有MySQL工作台，但找不到类似的功能。有什么建议吗？

浏览 0提问于2011-12-17得票数 0

回答已采纳

1回答

使用二进制UUID将CSV导入MySQL工作台

python、mysql、csv、mysql-python

我正在尝试将一个包含1000万行UUID的CSV文件导入MySQL工作台中，这些UUID是用生成的。ID BINARY(16) PRIMARY KEY);importrange(10000000): ID

浏览 3提问于2020-11-22得票数 0

回答已采纳

1回答

如果几个大的文本文件太大而无法单独转换，如何将它们转换为一个CSV文件？

python、export-to-csv

我有几个要合并到一个.csv文件中的大型.text文件。但是，每个文件都太大，无法单独导入到Excel中，更不用说全部一起导入了。我想创建一个使用pandas来分析数据，但不知道如何将所有文件放在一个地方。如何将数据直接读入Python或.csv文件的Excel？有问题的数据是联邦选举委员会网站上的2019-2020 Contributions

浏览 23提问于2019-12-18得票数 1

4回答

从CSV到MySQL的选择性导入

mysql、csv、import

如何将大型csv文件中的某些行导入到MySQL表中。我知道如何导入所有数据，但我的问题是我的csv文件太大，并且我不需要它拥有的所有数据。我只想导入其中" column_x“具有以下任一值的行: VALID1、VALID2、VALID3所有其他具有无效值的column_x行都应被忽略。有人能帮我吗？非常感谢。

浏览 0提问于2011-02-11得票数 1

3回答

将包含带逗号的数据的csv文件导入MySQL

python、mysql、wamp、wampserver、mysql-python

我有超过10的.csv文件。我尝试使用python将这些文件中的数据导入到MySQL中。由于csv文件是逗号分隔的文件，而我的数据本身包含逗号，因此我不能在这里使用'，‘进行拆分。在那里，请建议一些其他选项来拆分csv文件。我想将数据从csv文件(其中数据本身包含逗号)导入到

浏览 1提问于2012-03-05得票数 0

回答已采纳

5回答

在MySQL中建立大型数据库以便在R中进行分析

mysql、macos、r

在R中分析大型数据集时，我已经达到了内存的极限。我认为我的下一步是将这些数据导入到MySQL数据库中并使用RMySQL包。很大程度上是因为我不懂数据库的行话，所以我不知道如何通过几个小时的Googling和RSeeking来安装MySQL (我在MacOSX10.6上运行MySQL和MySQL Workbench，但也可以运行关于如何开始使用这个用法，有没有好的参考资料？在这一点上，我不想做任何类型的关系数据库。我只想将.cs

浏览 1提问于2010-07-27得票数 10

回答已采纳

1回答

逐行处理内存文件，在python中生成类似对象的文件

python、postgresql、file、sed、copy

我需要将一个大型CSV文件导入postgresql。该文件使用两个分隔符“、”(逗号)和"_“(下划线)。postgres copy命令无法使用两个分隔符字符，因此在将文件加载到数据库之前，我将在bash中处理该文件：| sed -e 's/_/,/' \ |in python</em

浏览 2提问于2017-03-20得票数 2

回答已采纳

1回答

处理大型(>1GB) CSV文件时出现的问题

python-3.x、pandas、csv

我有一个大型的CSV文件，我必须对已排序的数据进行排序并将其写入另一个csv文件。CSV文件具有10 columns。这是我的分类代码。data = [ x.strip().split(',') for x in open(filename+'.csv', 'r').readlines() if x[0] !] data = sorted(data, key=lambda x: (x[6],

浏览 1提问于2019-04-02得票数 0

回答已采纳

点击加载更多