pyspark广播函数做变量的深度拷贝吗？

Question

假设我有一个变量，它是一个字典。

h = {1: {2:3}, 5: {6: 7}}

我想把它广播给pyspark的地图制作者。像这样只广播h就足够了吗

h0 = sc.broadcast(h)

然后将其用作广播的var：h0.value[5][6]

或者我应该像这样传播它的所有值：

h0 = {k: sc.broadcast(v) for k, v in h.iteritems()}
...
def mapper():
    inner_h = {k, v for k, v in h0.iteritems()}
    inner_h[5].value[6]

Answer 1

您可以直接将其用于集合

sc.broadcast(h) and  h.value

下面是一个有用的link，其中包含一些示例