WriteStream需要客户端证书的Azure管理后面的dataFrame到Elasticsearch？

Question

我们有一个环境，在这里我们有一个Elasticsearch，它在Azure管理下受到保护。我们已经将此与客户端证书要求(以及其他安全措施)联系在一起。进入APIM /o客户端证书的调用被拒绝。

我有一个新的系统，我带来了在线数据存储在德尔塔湖表和处理与PySpark (使用Azure )。在处理结束时，我想将最终产品推到Elasticsearch。我知道我可以使用org.elasticsearch.spark写信给es，但是我看不出有任何方法可以包含客户机证书来清除APIM。

这些都有可能吗？

在连接到writeStream.

• Use .Net以执行流读写时，

1. 包括一个证书。我还不确定Microsoft.Spark有哪些功能，以及它是否可以使用结构化流从Delta表中读取。如果成功，我可以使用我现有的库来调用ES。
2. 找到了一种对等VNets的方法，这样我就可以通过本地IP地址调用ES。我是在另一个系统中这样做的，但在这种情况下，我可以访问两个VNets。使用Synapse，可以管理Spark，我认为它不支持Azure VNet peering VNet think？

谢谢!

Answer 1

我找到的唯一解决方案是在运行Elasticsearch的集群中的负载均衡器上启用私有链接服务，然后在Synapse中创建一个连接到PLS的托管私有端点。