Google Appengine数据存储的层次结构优化

Question

我使用如下所示的模型将分层数据存储在数据存储中：

class ToolCategories(db.Model):  
   name = db.StringProperty()  
   parentKey = db.SelfReferenceProperty(collection_name="parent_category")  
   ...  
   ...  

我想打印保留层次结构的所有类别名称，比如以如下形式打印：

--Information Gathering  
----OS Fingerprinting  
----DNS  
------dnstool  
----Port Scanning   
------windows  
--------nmap  
----DNS3  
----wireless sniffers  
------Windows  
--------Kismet  

为了完成上述工作，我使用了简单的递归，并使用了反向引用功能：

class GetAllCategories (webapp.RequestHandler) :


        def RecurseList(self, object, breaks) :
                output = breaks + object.name + "</br>"
                for cat in object.parent_category:
                        output = output + self.RecurseList(cat, breaks + "--")

                return output



        def get (self) :
                output = ""
                allCategories = ToolCategories.all().filter(' parentKey = ', None)
                for category in allCategories :
                        output = output + self.RecurseList(category, "--")

                self.response.out.write(output)

由于我对App engine编程非常陌生(从我开始编写代码到现在还不到3天)，我不确定从数据存储访问的角度来看，这是否是完成所需工作的最优化方法。

这是最好的方法吗？如果不是，什么是？

Answer 1

你有一个非常合理的方法！我的主要警告是与GAE关系不大，但与Python有很大关系：不要使用+或+=从片段构建字符串。相反，您可以创建一个字符串段列表(使用append或extend或list comprehensions &c)，在完成所有操作后，您可以使用''.join(thelist)或类似方法将其连接起来，以获得最终的字符串结果。尽管最近的Python版本努力优化+或+=循环本质上的O(N squared)性能，但最终，您最好是在整个过程中构建字符串列表，并在最后对它们进行''.join！

Answer 2

您的方法的主要缺点是，因为您使用“邻接列表”的方式来表示树，所以您必须为树的每个分支执行一个数据存储查询。数据存储查询相当昂贵(每次大约160ms )，因此构建树，特别是如果它很大，可能会相当昂贵)。

还有另一种方法，本质上是数据存储用来表示实体组的方法:不只是存储父键，而是使用ListProperty存储整个祖先列表：

class ToolCategories(db.Model):
  name = db.StringProperty()
  parents = db.ListProperty(db.Key)

然后，为了构建树，您可以在一个查询中检索整个内容：

q = ToolCategories.all().filter('parents =', root_key)