Gremlin - Giraph GraphX？论TitanDb

Question

我需要一些帮助来确认我的选择。如果你能给我一些信息的话。我的存储数据库是TitanDb和卡桑德拉。我有一张很大的图。我的目标是在后面的图上使用Mllib。

我的第一个想法:使用泰坦与GraphX，但我没有发现任何东西或正在开发中.TinkerPop还没有准备好。所以我看一下吉普。TinkerPop，泰坦可以和TinkerPop的Rexster发表公报。

我的问题是:使用Gi饼有什么好处？格里姆林似乎也有同样的想法，而且是分布式的。

非常感谢你给我解释。我想我不太明白Gremlin和Gi相图(或GraphX)之间的区别。

祝您今天愉快。

Answer 1

有趣的问题。我也在同一条轨道上。

首先是关于MLlib的问题。我假设您指的是阿帕奇星火MLlib，这是Apache之上的机器学习(ML)实现。因此，我的结论是:您希望运行ML算法，以便使用基于泰坦/卡桑德拉的图形数据库中的数据进行聚类和分类。请注意，您也可以使用像spidy提到的Page这样的图形处理算法在Titan/Cassandra图形数据库上进行聚类。换句话说:当您的起点是图形数据库时，不需要ML来进行集群。

Apache似乎是未来的证明和广泛支持，他们最近的声明是关于新的ML算法，尽管阿帕奇马乌特，另一个Apache项目，在支持的ML算法的数量方面比较成熟。Apache也采用了Apache作为数据存储层，因此在本文中我将提到它。Apache除了提供内存中的计算之外，还提供了用于机器学习的MLlib、类似于Spark上的蜂巢的星星之火SQL、用于处理流数据的图形处理系统-- spidy和火花流。

我认为Apache本身是一个逻辑数据层，表示为存储层之上的RDDs (弹性分布式数据集)，如Cassandra、Hadoop/Hcatalog和HBase。Apache为Cassandra提供了一个连接器。请注意，RDDs是不可变的，您不能使用Spark更改数据，您只能处理和分析星火中的数据。关于Apache逻辑存储层RDD:您可以将RDD作为一个视图进行比较，例如，在HBase的Cassandra中，RDD为您提供了一个视图。还请注意，Apache为3种开发环境提供了API : Scala、Java和Python。

阿帕奇图也是一个图形处理工具集，功能相当于Apache。ApacheGi相术使用Hadoop作为数据存储层。您使用的是Titan/Cassandra，所以当您选择ApacheGi相图作为解决方案时，您可能会输入数据迁移任务。其次，您在文章的开头提出了一个关于使用MLlib的ML的问题，ApacheGi相图不是一个ML解决方案。

您对Gi相图和Gremlin的结论是不正确的:它们并不相同，尽管两者都使用图形数据库。如spidy所解释的，Gi相图是图形处理的一种解决方案。使用Gi相图，您可以执行图分析算法，如Page，例如谁的追随者最多，而格里姆林用于遍历例如，使用实体(顶点)之间的复杂关系(边)查询图数据库，获得顶点和边缘属性的结果集。

Answer 2

• Gremlin是一种图形遍历语言，Gi相图或Graphx是一种图形处理系统。

我相信你是在要求图或图和泰坦之间的区别。更确切地说，既然您已经在图形数据库中拥有数据，为什么要使用图形处理系统呢？

因此，它本质上就是图形数据库与图形处理系统的区别。

• 当您的应用程序需要频繁地查询数据时，图形数据库就是您的对象。例如，对于facebook这样的应用程序，给用户返回他/她所有的朋友。这适用于图形数据库，您可以使用gremlin进行查询。
• 现在，如果你想计算facebook中每个用户的排名，你需要在整个图上运行pagerank算法。换句话说，pagerank算法处理整个图并返回映射。这是适合于图形处理系统的应用。是的，您可以使用gremlin框架编写查询，但是1.它不会像gi相图或图形所使用的底层pregel模型那样友好。2.它不会有效率。

总之，这取决于您的应用程序。如果您认为您的应用程序类似查询。不要费心将卸载加载到任何图形处理系统中。如果您认为您的应用程序更像pagerank (这需要处理整个图)，并且您有一个大图(至少有100万条边)。去看图或图。

图形和图形都有图形输入格式。您可以将数据转储到文件中的表单中，并将其输入到其中一个系统中，也可以编写自己的输入格式。

附注：最好将输入格式添加到gi饼图形x中，它接受存储在titan中的数据。