用于访问csv文件中的值并使用wamp将其存储到数据库中的python程序

Question

我是Python和WampServer的新手。我想从csv文件(大于10 GB)中检索值，经过一些处理后，使用Wamp高效地将它们存储在MySQL数据库中。

我已经在Wamp服务器上安装了Python和Django，并查看了之前的帖子，但由于我在这一领域完全是新手，我从他们那里学到的并不多。

有没有人能给像我这样的初学者推荐合适的资源？我已经研究过Python Power! The Comprehensive Guide了，但我并没有从中得到太多。任何帮助都将不胜感激。

Answer 1

您可以使用内置的csv module从CSV文件中读取数据。例如：

>>> import csv
>>> open('test.csv','w').write('1,one\n2,two\n3,three\n')
>>> list(csv.reader(open('test.csv')))
[['1', 'one'], ['2', 'two'], ['3', 'three']]

您可以使用MySQL-python package将数据写入MySQL，它符合Python database API并且是documented here。例如，在你安装了这个包之后，你可以这样做：

>>> import MySQLdb
>>> conn = MySQLdb.connect(host, user, passwd, db)
>>> cursor = conn.cursor()
>>> cursor.executemany('INSERT INTO numbers (value, name) VALUES (%, %)',
...                    [['1', 'one'], ['2', 'two'], ['3', 'three']])
... 
>>> cursor.commit()

但是，如果您使用Django来管理数据库，那么最好使用Django自己的数据库接口，例如Model.save将模型的实例保存到数据库中。