Google Cloud Composer:关于语言和工作流程的问题

Question

我正要写一篇关于Google Cloud Composer的论文，我遇到了一些不确定因素。

在Google Cloud Composer中，DAG是用python编写的。那么，这是否意味着我只能运行python函数，或者我也可以调用保存在google云中的java函数？

如果我继续使用python，是否所有内容都必须放在一个文件中？我猜这是一个微不足道的问题，但在所有来自GCC的例子中，所有的东西都在一个文件中。此外，这里似乎没有源代码文件夹：https://cloud.google.com/composer/docs/concepts/cloud-storage

最后，我正在寻找我可以使用的计算密集型python工作流。你能推荐一个我可以找到科学python工作流的网站吗？

Answer 1

Google的Cloud composer文档仅使用Python编写DAG。

是的，您可以在Composer环境中找到一个DAG文件夹。该文件夹位于由该Composer实例创建的存储桶中。如果要使用相同的Composer实例执行多个DAG，只需将python文件放入存储桶中的DAGs文件夹中。Composer将自动运行该DAG。Adding a DAG

您可以使用各种操作符向dag文件添加功能，如添加bashoperator以添加java jar文件LINK

所有内容都必须放在一个文件中？：是的，DAG文件中定义了所有的工作流程，即任务。Sourcecode存储在Airflow创建的GCS存储桶的DAG文件夹中。