使用GraphFrames (Scala)计算层次结构

Question

我有一个下面的数据框架：

employee_id|employee_name|manager_employee_id|
----------------------------------------------
    1           eric (ceo)      1
    2           edward          1
    3           john            1
    4           james           2
    5           ella            4

我想使用spark (scala)图形框架逻辑来实现以下几点：

employee_id|employee_name|manager_employee_id|level|hierarchy
-------------------------------------------------------------
    1           eric            1                0    /1
    2           edward          1                1    /1/2
    3           john            1                1    /1/3
    4           james           2                2    /1/2/4
    5           ella            3                3    /1/2/4/5

任何帮助都将不胜感激

Answer 1

我认为您正在寻找的答案或多或少与this相关。

您需要做的唯一修改就是聚合消息以获得完整的层次结构。关于这一部分，你可以参考this。

以上两者的组合将会得到你想要的结果。