是否可以使用SAX解析器解析大小为800 MB的大型xml文件？

Question

我正在解析transxchange数据，它有一些大小非常大的文件，几乎是800 MB。当我试图解析这些文件时，我会得到以下错误。

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
=======================================================================
    at java.util.ArrayList.<init>(Unknown Source)
    at java.util.ArrayList.<init>(Unknown Source)
    at JourneyPatternSections.<init>(JourneyPatternSections.java:21)
    at ReadBusData.startElement(ReadBusData.java:131)
    at com.sun.org.apache.xerces.internal.parsers.AbstractSAXParser.startElement(Unknown Source)
    at com.sun.org.apache.xerces.internal.impl.XMLDocumentFragmentScannerImpl.scanStartElement(Unknown Source)
    at com.sun.org.apache.xerces.internal.impl.XMLDocumentFragmentScannerImpl$FragmentContentDriver.next(Unknown Source)
    at com.sun.org.apache.xerces.internal.impl.XMLDocumentScannerImpl.next(Unknown Source)
    at com.sun.org.apache.xerces.internal.impl.XMLDocumentFragmentScannerImpl.scanDocument(Unknown Source)
    at com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(Unknown Source)
    at com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(Unknown Source)
    at com.sun.org.apache.xerces.internal.parsers.XMLParser.parse(Unknown Source)
    at com.sun.org.apache.xerces.internal.parsers.AbstractSAXParser.parse(Unknown Source)
    at com.sun.org.apache.xerces.internal.jaxp.SAXParserImpl$JAXPSAXParser.parse(Unknown Source)
    at javax.xml.parsers.SAXParser.parse(Unknown Source)
    at javax.xml.parsers.SAXParser.parse(Unknown Source)
    at ReadBusData.parseDocument(ReadBusData.java:51)
    at ReadBusData.<init>(ReadBusData.java:41)
    at ReadBusData.main(ReadBusData.java:218).

我正在遵循这教程。

有人能帮我吗。

Answer 1

问:是否可以使用SAX解析大小为800 MB的大型xml文件？

是的，当然！

问题不是萨克斯。SAX实际上是处理大型文件的理想选择。

这个问题显然发生在你的列队名单上。

它有多大？

其他结构有多大？

您真的需要存储所有分配空间的数据吗？

您是否使用VM标志运行程序以分配更多内存？

• http://www.oracle.com/technetwork/java/javase/tech/vmoptions-jsp-140102.html

你的电脑有多少内存？你能在支持更多内存的PC上运行它吗？64位个人电脑？

你在使用64位JVM吗？

建议:下载并试用Visual，以便在代码级别解决问题：

• http://visualvm.java.net/

您可能会发现，您分配的数据比预期的要多得多。

IMHO..。

Answer 2

增加您的堆大小，例如，使用-Xmx1g启动VM。

看这个博客。

Answer 3

SAX将是解析大型文件的最佳机制。DOM解析将把整个文档加载到内存中，您将遇到问题。很有可能你有问题，因为你试图把所有的东西都存储在某种集合中。SAX很适合解析xml，处理它，然后继续前进。