Caused by: org.apache.spark.SparkException: Cannot broadcast the table that is larger than 8GB: 10 GBSpark会自动广播Dataframe作为join的一部分吗?我对这个88GB的限制感到非常惊讶,因为我会认为Dataframe支持“大数据”,88GB根本不是很大。
非常感谢您在这方面的建议。
在我们的一个Pyspark作业中,我们有一个场景,我们在一个大的数据帧和相对较小的数据帧之间进行连接,我相信spark正在使用广播连接,我们遇到了以下错误 org.apache.spark.SparkException: Cannot broadcast the table that is larger than 8GB: 8 GB ...
第二层广播是第二层包的目的地址是FF-FF.您看到ARP请求,它将目标MAC地址发送到广播。我对此有疑问:感谢您的回复,您可以看到literally "everyone on this broadcast domain",如果这是一个/8段,它是否真的会有那么多地址?我的意思是,如果局域网中只有10.10.