首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >不将Spark Dataframe转换为Pandas的方法

问不将Spark Dataframe转换为Pandas的方法
EN

Stack Overflow用户
提问于 2019-07-30 04:45:20
回答 3查看 18.9K关注 0票数 8

有没有办法在不将数据帧转换为pandas的情况下绘制Spark dataframe中的信息?

我在网上做了一些调查,但似乎找不到方法。我需要自动将这些图另存为.pdf,因此使用databricks的内置可视化工具将不起作用。

现在,这就是我正在做的(作为示例):

代码语言:javascript
复制
# df = some Spark data frame 
df = df.toPandas()
df.plot()
display(plt.show())

我想要生成折线图、直方图、条形图和散点图,而不将我的数据帧转换为pandas数据帧。谢谢!

EN

回答 3

Stack Overflow用户

发布于 2020-01-16 18:53:10

显示功能仅在databricks内核notebook中可用,在spark中不可用

票数 10
EN

Stack Overflow用户

发布于 2019-07-30 15:27:55

就像官方文档Visualizations所说的那样,使用带有火花数据帧的display(<dataframe-name>)函数,如下所示。

​

​

然后,选择绘图类型并更改其选项,如下图所示,直接显示带有spark dataframe的图表。

​

​

如果您想要显示与您的pandas数据框图相同的图表,那么您当前的方法是唯一的方法。

票数 0
EN

Stack Overflow用户

发布于 2019-12-02 11:38:04

您可以收集数据,然后使用matplotlib绘制它。从那里你可以很容易地将输出保存为pdf。下面是一个在python中收集数据的快速示例:

代码语言:javascript
复制
spark.sql('SELECT * FROM <your table>').collect()
票数 -1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/57261153

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档