基于WandB的多个ML独立模型的单主评价实验跟踪

Question

您能从您的经验中，选择一个方便的跟踪实验工具和版本只“多独立的模型，但一个输入->多模型->一个输出”，以获得单一的主要评估和方便地比较子评估？请参阅图表中的项目示例。

​

我理解并尝试使用W&B，MLFlow，DVC，Neptune.ai，DagsHub，TensorBoard只用于一种模式，但我不确定一种模式是否方便使用多独立模型。我也没有在Google中找到类似的短语"ML跟踪实验和多模型管理“。

Answer 1

免责声明：我是迭代公司的联合创始人，我们是DVC的作者.我的反应不是来自于我对上述所有工具的经验。我以此为契机，尝试在DVC生态系统中为这个用例构建一个模板，并共享这个模板，以防它对任何人有用。

下面是我构建的GitHub回购(注意:它是一个模板，而不是一个真正的ML项目，脚本被人为地简化以显示多模型评估的本质)：

DVC模型集成

我收集了一个广泛的自述文件和一些CLI、VS Code、Studio工具的视频。

回购的核心部分是这个DVC管道，它“训练”多个模型，收集它们的度量，然后运行evaluation阶段，将这些度量“缩减”为最终的度量。

stages:
  train:
    foreach:
      - model-1
      - model-2
    do:
      cmd: python train.py
      wdir: ${item}
      params:
        - params.yaml:
      deps:
      - train.py
      - data
      outs:
      - model.pkl:
          cache: false
      metrics:
      - ../dvclive/${item}/metrics.json:
          cache: false
      plots:
      - ../dvclive/${item}/plots/metrics/acc.tsv:
          cache: false
          x: step
          y: acc
  evaluate:
    cmd: python evaluate.py
    deps: 
    - dvclive
    metrics:
    - evaluation/metrics.json:
        cache: false

它描述了如何在项目中构建和连接不同的东西，并使项目“可运行”和可复制。它可以扩展到任意数量的模型(第一个foreach子句)。

请让我知道这是否适合您的方案和/或您有更多的需求，乐于学习模式并迭代它:)