我需要将Excel文件(.xlsx)中的所有数据插入到数据库中。我已经尝试过所有可用的方法,比如缓存,让它逐块读取,但似乎没有任何方法起作用。以前有人试过用大文件大小来做这件事吗?我的电子表格大约有32列和大约70万行记录。
该文件已上载到服务器中。我想写一个cron作业来实际读取excel文件并将数据插入数据库。我每次只读5000条、3000条甚至10条记录,但没有一条有效。所发生的是,它将返回此错误:
simplexml_load_string():内存分配失败:不断增长的缓冲区。
我确实尝试了CSV文件类型,并设法使事情运行在4000 K记录,但将需要五分钟左右的时间处理,但任何更高的也将失败。得到同样的错误。但是需求在.xlsx文件类型中需要它,所以我需要坚持这一点。
发布于 2014-11-19 14:22:28
考虑使用外部工具将其转换为CSV格式,比如从ssconvert包中的Gnumeric,然后用fgetcsv函数逐行读取CSV。
发布于 2015-01-28 20:54:45
出现问题是因为您试图读取整个XML文件的内容。缓存和逐块读取没有帮助,因为您使用的库需要在某一点上读取整个XML文件以确定电子表格的结构。因此,对于非常大的文件,XML文件非常大,以至于读取XML文件消耗了所有可用内存。唯一的工作选择是使用彩带和优化读取。
这仍然是一个相当复杂的问题。例如,要解析工作表中的数据,需要从一个XML文件读取共享字符串,从另一个XML文件读取工作表结构。由于共享字符串的存储方式,在读取工作表结构时,需要将这些字符串存储在内存中。如果您有数千个共享字符串,这将成为一个问题。
如果您感兴趣,喷口解决了这个问题。它是开源的,所以您可以查看代码!
https://stackoverflow.com/questions/23171114
复制相似问题