如何在本地使用databricks-connect执行火花代码？

Question

是否有方法在本地使用数据库连接执行火花代码？

原因是我希望执行一些测试，作为CI/CD管道的一部分，而不需要启动和运行集群。

Answer 1

不，databricks-connect需要一个正在运行的集群。如果您不使用任何特定于databricks的代码(如dbutils)，您可以在本地运行spark并对其执行--假设您仍然可以访问所需的数据源。