如何在jupyter笔记本中使用apachee-toree内核的pyspark以良好的格式显示数据帧

Question

如果输出的格式不是很好，就会变得非常困难，如链接-> required output中的图像所示。我在使用apache-toree内核的pyspark中的jupyter笔记本上运行我的代码。目前，当我展示我的数据帧时，它看起来有点像这个链接-> Current Table中的图像。

我知道有一种方法可以使用apache website上提到的“魔法”，但它在pyspark中也不起作用。如果我在jupyter中加载一个普通的python笔记本，它就能工作。它给出了用pyspark显示在image中的错误

我在网上找不到任何关于这方面的东西。任何帮助都是非常感谢的。

Answer 1

我通过使用toPandas方法将pyspark DataFrame转换为pandas DataFrame来解决这个问题。