传输加密？

Question

有谁知道FAQ(https://cloud.google.com/dataproc/docs/resources/faq)中的以下内容实际上是什么意思？

“在群集创建或作业提交时，用户可以在传输到群集或从群集传输时加密数据。”

在集群创建期间，我找不到启用加密的选项。这基本上意味着，自己配置所有组件以确保通信是加密的。

我们非常想了解Spark/ Hive /Tez在执行任务时是否使用加密的通信通道，或者是通过jdbc连接连接到Hive。

对此是否存在任何现有的初始化操作，或者这个语句是否意味着这一切都取决于您？

Answer 1

我认为这是在讨论GCP时的身份验证/授权/加密。重要的是，如果您的数据在GCS或BigQuery中，则数据传输是安全的。此外，与Dataproc控制平面的所有通信(例如创建集群、提交作业)都是安全的。

您是正确的，集群内部的通信是不安全的，但实际上是空隙。节点到节点的通信发生在孤立的VPC网络上的内部IP上。Dataproc有关于如何配置防火墙规则的指导性。

您还可以使用Dataproc 私有IP集群来避免VM上有外部IP地址。

我不知道有任何init行动来建立Kerberos --所以是的，你必须自己动手。