首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >将大型数据框导出到可供Power BI使用的单个文件的最佳方法

问将大型数据框导出到可供Power BI使用的单个文件的最佳方法
EN

Stack Overflow用户
提问于 2019-04-29 15:04:58
回答 1查看 322关注 0票数 0

我正在Azure Databricks中处理大量输入文件。我的最终数据帧大约有9800万行。

我需要将其从Databricks导出,以便我可以将其导入Power BI进行报告。

Power BI目前似乎没有一个连接器可以解释分区的性质,如果我只是简单地将数据帧写入CSV。使用合并或转换为pandas数据帧并导出到CSV的速度非常慢,并且容易受到群集上的资源限制。

我尝试过上述两种方法,但收效甚微。

要以Power BI可以理解的方式有效地导出我的数据帧,我还有哪些其他选择?我不介意这是从Databricks方面还是从Power Query方面进行处理。

EN

回答 1

Stack Overflow用户

发布于 2019-05-02 23:52:03

PowerBI有一个用于数据库的现有连接器。我们获取CSV数据并将其转换为databricks增量格式化的分区表。我们有数十亿条记录,而PowerBI能够很好地调出它。

确保按照以下步骤将PowerBI连接到databricks集群:https://docs.databricks.com/user-guide/bi/power-bi.html#connect-power-bi-desktop-to-a-databricks-cluster

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/55898466

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档