我想我以前把事情搞得太复杂了。
将多个列表的内容写入XML文件。写一个结果需要一毫秒,但是100个结果几乎需要一分钟,这是没有道理的。我加了一个计数器,每次写的速度都比上次的要慢。
我找不到瓶颈。我不明白是什么让它变慢了,而且我也不知道自己要手动把数据写到记事本上。
我试过:
*不检查是否存在设置树/根的Temp.xml,这并没有产生任何影响。
*使用相同的列表,而不是使用多个列表,以防万一会引起一些奇怪的事情。
*我想这可能只是我的系统,所以我把它粘在了40级核心的SSD服务器上,结果也是一样的。
守则:
def filewriter():
while 1:
time.sleep(10)
if OnlyOneXMLWriteCheck == 1:
WriteThatThread = Thread(target = FileWrite)
WriteThatThread.start()
WriteThatThread.join()
def FileWrite():
try:
if os.path.exists("Temp.xml") == True:
os.remove("Temp.xml")
EventDumpCounter = 0
for Eventes in EventTags:
try:
if os.path.exists("Temp.xml") == True:
tree = ET.parse("Temp.xml")
root = tree.getroot()
if os.path.exists("Temp.xml") == False:
root = ET.Element("Refunds")
tree = ET.ElementTree(root)
if float(EventCost[EventDumpCounter]) > float(Price[EventDumpCounter]):
if "Horse" in EventTags[EventDumpCounter]:
Eventes = ET.SubElement(root, "Event", type = EventTags[EventDumpCounter])
ET.SubElement(Eventes, "EventTime").text = str(EventTimes[EventDumpCounter])
ET.SubElement(Eventes, "EventName").text = str(EventName[EventDumpCounter])
ET.SubElement(Eventes, "EventLoc").text = str(EventLoc[EventDumpCounter])
ET.SubElement(Eventes, "EventSpace").text = str(EventSpace[EventDumpCounter])
ET.SubElement(Eventes, "EventCost").text = str(EventCost[EventDumpCounter])
ET.SubElement(Eventes, "EventPrice").text = str(EventPrice[EventDumpCounter])
ET.SubElement(Eventes, "EventParking").text = str(EventParking[EventDumpCounter])
ET.SubElement(Eventes, "EventDist").text = str(EventDist[EventDumpCounter])
tree.write("Temp.xml")
EventDumpCounter +=1
except:
print "Problem writing XML"
#except:
except WindowsError, e:
print "Problem creating XML 2"
#e = sys.exc_info()[0]
print e
KeepWritingFiles = Thread(target = filewriter)
KeepWritingFiles.start()/Update:
在下面的评论之后,有人建议每次解析XML都会减慢速度。我这样做是为了让它可以启动新的XML或附加到现有的XML中,但我改变了如下:
if os.path.exists("Temp.xml") == True:
if OnlyParseOnce == 0:
print "opening file"
OnlyParseOnce = 1
tree = ET.parse("Temp.xml")
root = tree.getroot()
if os.path.exists("Temp.xml") == False:
root = ET.Element("Events")
tree = ET.ElementTree(root)“打开文件”只显示一次,这意味着它不会一直解析该文件,而且仍然很慢。我想知道"os.path.exists“是否是瓶颈。
如果我手动设置它
root = ET.Element("Refunds")
tree = ET.ElementTree("Events")它在一秒钟内通过同样数量的数据。一点时间都没有。但是那样的话,它就不会附加到一个现有的文件中,而是不断地重写。所以它可能是os.path.exists,也可能是因为我正在编写一个结果,而不是创建一个更大的文件。
发布于 2016-02-12 20:18:47
您的代码在每个循环结束时用tree.write("Temp.xml")编写文档,然后再用tree = ET.parse("Temp.xml")读取和解析它。这是完全没有意义的,因为tree已经在内存中,不需要重新构建。随着文档的增长,写作和阅读的成本上升,性能下降。只需使用内存中的tree对象并延迟写入,直到循环完成。
def FileWrite():
try:
if os.path.exists("Temp.xml") == True:
os.remove("Temp.xml")
root = ET.Element("Refunds")
tree = ET.ElementTree(root)
EventDumpCounter = 0
for Eventes in EventTags:
try:
if float(EventCost[EventDumpCounter]) > float(Price[EventDumpCounter]):
if "Horse" in EventTags[EventDumpCounter]:
Eventes = ET.SubElement(root, "Event", type = EventTags[EventDumpCounter])
ET.SubElement(Eventes, "EventTime").text = str(EventTimes[EventDumpCounter])
ET.SubElement(Eventes, "EventName").text = str(EventName[EventDumpCounter])
ET.SubElement(Eventes, "EventLoc").text = str(EventLoc[EventDumpCounter])
ET.SubElement(Eventes, "EventSpace").text = str(EventSpace[EventDumpCounter])
ET.SubElement(Eventes, "EventCost").text = str(EventCost[EventDumpCounter])
ET.SubElement(Eventes, "EventPrice").text = str(EventPrice[EventDumpCounter])
ET.SubElement(Eventes, "EventParking").text = str(EventParking[EventDumpCounter])
ET.SubElement(Eventes, "EventDist").text = str(EventDist[EventDumpCounter])
EventDumpCounter +=1
except: # bad idea, you just supressed debug info
# potential problem = since you supress the error and continue
# processing but EventDumpCounter never advanced, you could
# get stuck in an infinite error loop.
print "Problem writing XML"
tree.write("Temp.xml")
#except:
except WindowsError, e:
print "Problem creating XML 2"
#e = sys.exc_info()[0]
print ehttps://stackoverflow.com/questions/35370334
复制相似问题