首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >从列表交互在mysql表中插入数据的最佳方法

问从列表交互在mysql表中插入数据的最佳方法
EN

Stack Overflow用户
提问于 2014-04-20 02:13:01
回答 1查看 233关注 0票数 1

我有一个很大的json文件(+- 50mb),我必须遍历它,处理一些文本,然后将处理后的文本插入到mysql表中。

我的疑问是:

在迭代json文件时,在表中逐条插入记录会更好吗?

代码语言:javascript
复制
move one item in json -> extract info I need -> open db connection -> insert record -> close db connection -> move to next item in json file... and so on until end of file

在这种情况下,最好是每次都打开和关闭数据库连接,还是让它一直打开到json文件结束?

或者我认为的另一种选择是遍历json文件并创建一个字典列表(每个记录一个字典,键作为要插入的字段,键的值作为要插入到数据库中的值),然后在数据库中插入。

代码语言:javascript
复制
iterate over json file -> extract info I need -> store info in dictionary -> add dictionary to a list -> repeat until the end of the file -> open db connection -> iterate over list -> insert record

在这种情况下,是否可以一次在数据库中插入整个列表,而不是使用for...i...按记录插入记录?

有什么想法是最好的选择吗?

抱歉,如果这个问题看起来很愚蠢,但我是一个初学者,在任何地方都找不到这个答案……我有100.000多条记录要插入...

提前感谢您的帮助!

EN

回答 1

Stack Overflow用户

发布于 2014-04-20 02:51:25

一次将所有记录插入数据库肯定要好得多:创建和关闭连接以及执行多条insert语句而不是只执行一条语句会产生相当大的开销。如果mysql chokes尝试一次添加100.000条记录,那么一次插入1000条记录可能有点多。

我假设内存使用不是问题;这当然取决于每条记录的大小。

我的建议是,如果经常需要从sqlalchemy访问数据库,可以使用python访问数据库。绝对值得投资!使用sqlalchemy,代码应该是这样的:

代码语言:javascript
复制
CHUNKSIZE = 1000

< parse JSON >
< store into a list of dictionaries 'records' >

< Refer to sqlalchemy tutorial for how to create Base and Session classes >

class MyRecord(Base):
  ''' SQLAlchemy record definition. 
      Let the column names correspond to the keys in the record dictionaries
  '''
  ...

session = Session()
for chunk in [records[CHUNKSIZE*i:CHUNKSIZE*(i+1)] for i in range(1+len(records)/CHUNKSIZE):
  for rec in chunk:
    session.add(MyRecord(**rec))
  session.commit()
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/23173695

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档