我正在Azure Databricks中处理大量输入文件。我的最终数据帧大约有9800万行。
我需要将其从Databricks导出,以便我可以将其导入Power BI进行报告。
Power BI目前似乎没有一个连接器可以解释分区的性质,如果我只是简单地将数据帧写入CSV。使用合并或转换为pandas数据帧并导出到CSV的速度非常慢,并且容易受到群集上的资源限制。
我尝试过上述两种方法,但收效甚微。
要以Power BI可以理解的方式有效地导出我的数据帧,我还有哪些其他选择?我不介意这是从Databricks方面还是从Power Query方面进行处理。
发布于 2019-05-02 23:52:03
PowerBI有一个用于数据库的现有连接器。我们获取CSV数据并将其转换为databricks增量格式化的分区表。我们有数十亿条记录,而PowerBI能够很好地调出它。
确保按照以下步骤将PowerBI连接到databricks集群:https://docs.databricks.com/user-guide/bi/power-bi.html#connect-power-bi-desktop-to-a-databricks-cluster
https://stackoverflow.com/questions/55898466
复制相似问题