如何在google云平台中的项目之间共享资源(计算引擎)

Question

我正在尝试创建prototype，在其中我可以在项目之间共享资源，以便在google云平台中运行作业

动机:假设有两个项目:项目A和项目B。我想使用在项目A中创建的dataproc集群来运行项目B中的作业。项目位于GCP平台中的同一组织中。

我该怎么做？

Answer 1

有几种方法可以跨项目管理资源。要做到这一点，最直接的方法可能是：

1. 使用您创建的服务帐户在您的project(s).
2. Setup和Airflow connection中创建具有适当权限的Airflow connection。
3. 您可以创建使用该连接的工作流，然后在创建云数据处理群集时使用specify the project。

你脑海中浮现的替代方法：

HTTP

• 使用类似于BashOperator或PythonOperator的命令来执行Cloud SDK commands.

• Use，该操作符用于ping要使用的服务的REST端点

话虽如此，使用运算符的第一种方法可能是到目前为止最简单的，并且将是执行您想要的操作的推荐方法。

关于Dataproc，当您创建作业时，它将仅绑定到特定项目中的集群。不可能在一个项目中针对另一个项目中的集群创建工作。这是因为当集群位于另一个项目中时，日志、审计和其他与作业相关的语义会变得杂乱无章。