在顶点AI上为KFP ParallelFor中的每个v2迭代设置名称

Question

我目前正在使用kfp.dsl.ParallelFor培训300个模型。看起来是这样的：

...

models_to_train_op = get_models()

with dsl.ParallelFor(models_to_train_op.outputs["data"], parallelism=100) as item:
  prepare_data_op = prepare_data(item)
  train_model_op = train_model(prepare_data_op["train_data"]

...

目前，顶点AI中的迭代在下拉列表中被标记为类似于for-loop-worker-0、for-loop-worker-1等。对于任务(如prepare_data_op )，有一个名为set_display_name的函数。是否有类似的方法允许您设置迭代名称？这将有助于将它们与培训数据相关联，以便更容易地查看顶点AI提供的下拉UI。

Answer 1

我联系了我在谷歌的联系人。他们建议您可以将传递给ParallelFor的列表传递给set_display_name，用于循环的每个“迭代”。在编译管道时，它将知道设置相应的迭代。

# Create component that returns a range list
model_list_op = model_list(n_models)

# Parallelize jobs
ParallelFor(model_list_op.outputs["model_list"], parallelism=100) as x:
  x.set_display_name(str(model_list_op.outputs["model_list"]))