我有一个很大的json文件(+- 50mb),我必须遍历它,处理一些文本,然后将处理后的文本插入到mysql表中。
我的疑问是:
在迭代json文件时,在表中逐条插入记录会更好吗?
move one item in json -> extract info I need -> open db connection -> insert record -> close db connection -> move to next item in json file... and so on until end of file在这种情况下,最好是每次都打开和关闭数据库连接,还是让它一直打开到json文件结束?
或者我认为的另一种选择是遍历json文件并创建一个字典列表(每个记录一个字典,键作为要插入的字段,键的值作为要插入到数据库中的值),然后在数据库中插入。
iterate over json file -> extract info I need -> store info in dictionary -> add dictionary to a list -> repeat until the end of the file -> open db connection -> iterate over list -> insert record在这种情况下,是否可以一次在数据库中插入整个列表,而不是使用for...i...按记录插入记录?
有什么想法是最好的选择吗?
抱歉,如果这个问题看起来很愚蠢,但我是一个初学者,在任何地方都找不到这个答案……我有100.000多条记录要插入...
提前感谢您的帮助!
发布于 2014-04-20 02:51:25
一次将所有记录插入数据库肯定要好得多:创建和关闭连接以及执行多条insert语句而不是只执行一条语句会产生相当大的开销。如果mysql chokes尝试一次添加100.000条记录,那么一次插入1000条记录可能有点多。
我假设内存使用不是问题;这当然取决于每条记录的大小。
我的建议是,如果经常需要从sqlalchemy访问数据库,可以使用python访问数据库。绝对值得投资!使用sqlalchemy,代码应该是这样的:
CHUNKSIZE = 1000
< parse JSON >
< store into a list of dictionaries 'records' >
< Refer to sqlalchemy tutorial for how to create Base and Session classes >
class MyRecord(Base):
''' SQLAlchemy record definition.
Let the column names correspond to the keys in the record dictionaries
'''
...
session = Session()
for chunk in [records[CHUNKSIZE*i:CHUNKSIZE*(i+1)] for i in range(1+len(records)/CHUNKSIZE):
for rec in chunk:
session.add(MyRecord(**rec))
session.commit()https://stackoverflow.com/questions/23173695
复制相似问题