首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >XML写入的速度越来越慢

问XML写入的速度越来越慢
EN

Stack Overflow用户
提问于 2016-02-12 19:05:09
回答 1查看 580关注 0票数 0

我想我以前把事情搞得太复杂了。

将多个列表的内容写入XML文件。写一个结果需要一毫秒,但是100个结果几乎需要一分钟,这是没有道理的。我加了一个计数器,每次写的速度都比上次的要慢。

我找不到瓶颈。我不明白是什么让它变慢了,而且我也不知道自己要手动把数据写到记事本上。

我试过:

*不检查是否存在设置树/根的Temp.xml,这并没有产生任何影响。

*使用相同的列表,而不是使用多个列表,以防万一会引起一些奇怪的事情。

*我想这可能只是我的系统,所以我把它粘在了40级核心的SSD服务器上,结果也是一样的。

守则:

代码语言:javascript
复制
def filewriter():
    while 1:
            time.sleep(10)
            if OnlyOneXMLWriteCheck == 1:
                WriteThatThread = Thread(target = FileWrite)
                WriteThatThread.start()
                WriteThatThread.join()

def FileWrite():
    try:
        if os.path.exists("Temp.xml") == True:
            os.remove("Temp.xml")

        EventDumpCounter = 0

        for Eventes in EventTags:
            try:

                if os.path.exists("Temp.xml") == True:
                    tree = ET.parse("Temp.xml")
                    root = tree.getroot()
                if os.path.exists("Temp.xml") == False:
                    root = ET.Element("Refunds")
                    tree = ET.ElementTree(root)

                if float(EventCost[EventDumpCounter]) > float(Price[EventDumpCounter]):

                    if "Horse" in EventTags[EventDumpCounter]:
                        Eventes = ET.SubElement(root, "Event", type = EventTags[EventDumpCounter])
                        ET.SubElement(Eventes, "EventTime").text = str(EventTimes[EventDumpCounter])
                        ET.SubElement(Eventes, "EventName").text = str(EventName[EventDumpCounter])
                        ET.SubElement(Eventes, "EventLoc").text = str(EventLoc[EventDumpCounter])
                        ET.SubElement(Eventes, "EventSpace").text = str(EventSpace[EventDumpCounter])
                        ET.SubElement(Eventes, "EventCost").text = str(EventCost[EventDumpCounter])
                        ET.SubElement(Eventes, "EventPrice").text = str(EventPrice[EventDumpCounter])
                        ET.SubElement(Eventes, "EventParking").text = str(EventParking[EventDumpCounter])
                        ET.SubElement(Eventes, "EventDist").text = str(EventDist[EventDumpCounter])
                        tree.write("Temp.xml")

                EventDumpCounter +=1

            except:
                print "Problem writing XML"

    #except:
    except WindowsError, e:
        print "Problem creating XML 2"
        #e = sys.exc_info()[0]
        print e

KeepWritingFiles = Thread(target = filewriter)
KeepWritingFiles.start()

/Update:

在下面的评论之后,有人建议每次解析XML都会减慢速度。我这样做是为了让它可以启动新的XML或附加到现有的XML中,但我改变了如下:

代码语言:javascript
复制
   if os.path.exists("Temp.xml") == True:
            if OnlyParseOnce == 0:
                print "opening file"
                OnlyParseOnce = 1
                tree = ET.parse("Temp.xml")
                root = tree.getroot()
        if os.path.exists("Temp.xml") == False:
            root = ET.Element("Events")
            tree = ET.ElementTree(root)

“打开文件”只显示一次,这意味着它不会一直解析该文件,而且仍然很慢。我想知道"os.path.exists“是否是瓶颈。

如果我手动设置它

代码语言:javascript
复制
 root = ET.Element("Refunds")
  tree = ET.ElementTree("Events")

它在一秒钟内通过同样数量的数据。一点时间都没有。但是那样的话,它就不会附加到一个现有的文件中,而是不断地重写。所以它可能是os.path.exists,也可能是因为我正在编写一个结果,而不是创建一个更大的文件。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2016-02-12 20:18:47

您的代码在每个循环结束时用tree.write("Temp.xml")编写文档,然后再用tree = ET.parse("Temp.xml")读取和解析它。这是完全没有意义的,因为tree已经在内存中,不需要重新构建。随着文档的增长,写作和阅读的成本上升,性能下降。只需使用内存中的tree对象并延迟写入,直到循环完成。

代码语言:javascript
复制
def FileWrite():
    try:
        if os.path.exists("Temp.xml") == True:
            os.remove("Temp.xml")
        root = ET.Element("Refunds")
        tree = ET.ElementTree(root)

        EventDumpCounter = 0

        for Eventes in EventTags:
            try:
                if float(EventCost[EventDumpCounter]) > float(Price[EventDumpCounter]):
                    if "Horse" in EventTags[EventDumpCounter]:
                        Eventes = ET.SubElement(root, "Event", type = EventTags[EventDumpCounter])
                        ET.SubElement(Eventes, "EventTime").text = str(EventTimes[EventDumpCounter])
                        ET.SubElement(Eventes, "EventName").text = str(EventName[EventDumpCounter])
                        ET.SubElement(Eventes, "EventLoc").text = str(EventLoc[EventDumpCounter])
                        ET.SubElement(Eventes, "EventSpace").text = str(EventSpace[EventDumpCounter])
                        ET.SubElement(Eventes, "EventCost").text = str(EventCost[EventDumpCounter])
                        ET.SubElement(Eventes, "EventPrice").text = str(EventPrice[EventDumpCounter])
                        ET.SubElement(Eventes, "EventParking").text = str(EventParking[EventDumpCounter])
                        ET.SubElement(Eventes, "EventDist").text = str(EventDist[EventDumpCounter])
                EventDumpCounter +=1

            except: # bad idea, you just supressed debug info
                # potential problem = since you supress the error and continue
                # processing but EventDumpCounter never advanced, you could
                # get stuck in an infinite error loop.
                print "Problem writing XML"

        tree.write("Temp.xml")

    #except:
    except WindowsError, e:
        print "Problem creating XML 2"
        #e = sys.exc_info()[0]
        print e
票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/35370334

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档