首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何用80MB+将xlsx处理为数据库MySQL?

问如何用80MB+将xlsx处理为数据库MySQL?
EN

Stack Overflow用户
提问于 2014-04-19 14:12:51
回答 2查看 392关注 0票数 0

我需要将Excel文件(.xlsx)中的所有数据插入到数据库中。我已经尝试过所有可用的方法,比如缓存,让它逐块读取,但似乎没有任何方法起作用。以前有人试过用大文件大小来做这件事吗?我的电子表格大约有32列和大约70万行记录。

该文件已上载到服务器中。我想写一个cron作业来实际读取excel文件并将数据插入数据库。我每次只读5000条、3000条甚至10条记录,但没有一条有效。所发生的是,它将返回此错误:

simplexml_load_string():内存分配失败:不断增长的缓冲区。

我确实尝试了CSV文件类型,并设法使事情运行在4000 K记录,但将需要五分钟左右的时间处理,但任何更高的也将失败。得到同样的错误。但是需求在.xlsx文件类型中需要它,所以我需要坚持这一点。

EN

回答 2

Stack Overflow用户

发布于 2014-11-19 14:22:28

考虑使用外部工具将其转换为CSV格式,比如从ssconvert包中的Gnumeric,然后用fgetcsv函数逐行读取CSV。

票数 0
EN

Stack Overflow用户

发布于 2015-01-28 20:54:45

出现问题是因为您试图读取整个XML文件的内容。缓存和逐块读取没有帮助,因为您使用的库需要在某一点上读取整个XML文件以确定电子表格的结构。因此,对于非常大的文件,XML文件非常大,以至于读取XML文件消耗了所有可用内存。唯一的工作选择是使用彩带和优化读取。

这仍然是一个相当复杂的问题。例如,要解析工作表中的数据,需要从一个XML文件读取共享字符串,从另一个XML文件读取工作表结构。由于共享字符串的存储方式,在读取工作表结构时,需要将这些字符串存储在内存中。如果您有数千个共享字符串,这将成为一个问题。

如果您感兴趣,喷口解决了这个问题。它是开源的,所以您可以查看代码!

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/23171114

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档