通过Python中的Databricks api读取Databricks表？

Question

使用Python-3，我试图将Excel (xlsx)表与Databricks中相同的星火表进行比较。我希望避免在Databricks中进行比较。因此，我正在寻找一种通过Databricks api读取星火表的方法。这个是可能的吗？我怎样才能继续读一张桌子: DB.TableName？

Answer 1

据我所知，无法从DB读取表，除非您像LaTreb已经提到的那样将它作为作业运行。但是，如果您真的愿意，可以使用ODBC或JDBC驱动程序通过databricks集群获取数据。

有关如何设置此设置的信息可以找到这里。

一旦设置了DSN，就可以使用皮氏连接到databricks并运行查询。此时ODBC驱动程序将只允许您运行Spark命令。

尽管如此，除非您考虑到某种安全问题，否则直接将数据加载到Databricks中仍然会更容易。

Answer 2

我可以推荐您在笔记本中编写pyspark代码，从以前定义的作业中调用笔记本，并在本地机器和databricks工作区之间建立连接。

如果你愿意的话，你可以直接使用火星或将数据帧转换成熊猫。如果noteebok将结束混乱，可能是由于特定的工作而产生的。我认为发送所有databricks表可能是不可能的，因为API限制了您要执行复杂的操作，应该使用API来发送小消息。

办公文件：https://learn.microsoft.com/en-us/azure/databricks/dev-tools/api/latest/jobs#--runs-get-output

检索运行的输出和元数据。当笔记本任务通过dbutils.notebook.exit()调用返回值时，可以使用此端点检索该值。将此API限制为返回输出的前5MB。为了返回更大的结果，可以将作业结果存储在云存储服务中。