cloud composer + cloud ml引擎教程？

Question

我找不到云ML引擎+ airflow的教程，请有人帮助部署云ml引擎模型，并与airflow协调，以便每小时使用新数据进行训练

Answer 1

您可以使用Composer quick start available here和Airflow ML Engine operators‘s documentation here安排ML引擎作业。当您在MLEngine上训练作业时，模型包在GCS上创建，甚至可以手动创建。如果您打算进行超参数优化，那么您的包将需要包含前面提到的here的setup.py。

下面是用于虹膜scikit模型(reference here)的DAG示例-

with models.DAG(
        'composer_sample_ml',
        # Continue to run DAG once per day
        schedule_interval=datetime.timedelta(days=1),
        default_args=default_dag_args) as dag:

    train_model = mlengine_operator.MLEngineTrainingOperator(
        task_id='train_model',
        project_id='PROJECT_ID',
        job_id='{}_{}'.format('iris_train_job', str(uuid.uuid4())),
        package_uris='gs://BUCKET_ID/scikit_learn_job_dir/packages/PACKAGE_ID/iris_sklearn_trainer-0.1.tar.gz',
        training_python_module='iris_sklearn_trainer.iris',
        training_args=["--jobDir='gs://BUCKET_ID/scikit_learn_job_dir'"],
        region='us-central1',
        scale_tier='BASIC',
        runtimeVersion = '1.8',
        pythonVersion = '2.7'
    )

    train_model

Answer 2

这是一个包含ML引擎和编写器的教程：https://cloud.google.com/solutions/machine-learning/recommendation-system-tensorflow-deploy

Answer 3

对于可能在2020年6月后寻找的任何人的更新，除了上面的资源，这两个PR包括对示例DAG的更新和这些操作员的指南。我认为它们还没有在文档中更新，但一旦更新，我会尝试更新

1. https://github.com/apache/airflow/pull/9727
2. https://github.com/apache/airflow/pull/9798/files?short_path=b8207cb#diff-b8207cb1601efda85d3cbcf0087a6347