使用Azure Data bricks的CDAP

Question

是否有人尝试将Azure data bricks用作CDAP作业处理的spark群集。CDAP文档详细介绍了如何将其添加到Azure HDInsight中，但只是想知道是否有一种方法可以将CDAP配置为指向data bricks spark集群，这是否可能？或者这种集成需要特定的数据块客户端连接器jar？如果任何人有任何见解，这将是有帮助的。

Answer 1

Azure上没有对Databricks spark的开箱即用支持。但是，也就是说，您可以开发一个新的Cloud Runtime，它能够将作业提交到Databricks spark集群。下面是如何为Cloud Dataproc和EMR编写运行时扩展示例。