Pandas dataframe

Question

我得到了下面的

将Pandas Dataframe转换为Pandas Dataframe时出错

代码：

some_df = sc.parallelize([
 ("A", "no"),
 ("B", "yes"),
 ("B", "yes"),
 ("B", "no")]
 ).toDF(["user_id", "phone_number"])

pandas_df = some_df.toPandas()

错误：Py4JJavaError:调用o104.collectToPython.时出错

​

Answer 1

它在我的系统中运行得很好--我检查过了，这个错误发生在火花想要将所有数据加载到驱动程序内存中时，所以您可能没有足够的内存--增加驱动程序内存来解决问题，或者使用gc.collect()清除垃圾--让我知道这是否有帮助。