数据库笔记本-如何知道哪个内核

Question

我使用Databricks社区版本来运行火花工作负载。我知道它使用内核来运行笔记本。

1. 是否可以确定笔记本使用哪个内核来运行？
2. 笔记本将如何在幕后运行(几乎没有可用的信息)？

Answer 1

关于第一个问题，Databricks支持的“主”语言数量有限-- Scala、Python、R和SQL --您可以在创建笔记本时将它们设置为主要语言。除了在笔记本级别上设置的语言之外，您还可以使用magics、%scala、%python、%r、%sql等对给定单元格使用另一种语言。还有额外的魔法，例如，%sh用于执行驱动程序上的外壳代码，%fs用于处理DBFS上的文件，所有这些都可以在文档中找到。

关于第二个问题--实际实现不是公开的，但它的工作方式应该类似于星火实现- pyspark等等。