Flyte是如何为“数据和机器学习”量身定做的？

Question

https://flyte.org/说是的

面向复杂、任务关键数据和机器学习过程的

工作流自动化平台

我看了很多文档，我不明白为什么是“数据和机器学习”。在我看来，它是容器编排(这里是Kubernetes)之上的工作流管理器，其中工作流管理器意味着我可以定义有向无圈图( DAG )，然后将DAG节点部署为容器并运行DAG。

当然，这对“数据和机器学习”很有用，也很重要，但是我也可以将它用于任何其他的微服务DAG。除了特性/细节之外，这与https://airflow.apache.org或其他工作流管理器(其中有很多)有什么不同。还有更专门的工作流管理器用于“数据和机器学习”，例如https://spark.apache.org。

作为一个软件缺陷，我应该记住什么？

Answer 1

这是个很好的问题。有一点是正确的，核心是一个Serverless Workflow Orchestrator (无服务器，因为它确实启动了运行代码的基础设施)。是的，它可以用于多种其他情况。对于其他一些系统，如微服务编排，它可能不是最好的工具。

但是，真正使它对ML和数据编排有好处的是

below)

• Community

• 特性(下表)&

• 集成(使用it

• Roadmap

的人员列表)

特性

1. 长时间运行任务:它是为非常长时间运行的任务而设计的。可以运行数天或数周的任务，即使控制飞机坠毁，您也不会失去工作。您可以在不影响现有work.
2. Versioning的情况下继续部署--允许多个用户在同一个工作流上独立工作，使用不同的库、模型、输入etc
3. Memoization.。让我们以一个包含10个步骤的管道为例，您可以回溯所有9个步骤，如果第10个步骤失败，或者您可以修改第10个步骤，那么它将重用前9个步骤的结果。这将大大加快iteration
4. Strong的键入速度，并且ML特定类型支持Flyte理解数据格式，并且能够从spark.dataFrame -> pandas.DataFrame -> Modin -> polars等转换数据文件，而无需考虑如何高效地完成。此外，还支持诸如张量(正确序列化)、numpy数组等。模型也可以从过去的执行中保存和检索，因此模型真理存储器
5. 本机支持内部任务检查点。这可以帮助恢复节点故障之间甚至跨执行之间的模型培训。增加了对检查点callbacks.
6. Flyte甲板的新支持:一种可视化指标(如ROC曲线等)或自动显示输入到task.
7. Extendable编程接口的数据分布的方法，可以在GPU和或spot机器上自动调度分布式作业或在本地运行--例如spark、MPI、sagemaker
8. Reference isolation
9. Scheduler库任务，而不依赖于诸如GPU等资源的用户code
10. Understanding。通过对spot机器的智能处理- n-1重试，最后一次自动移动到按需机器上，以更好地执行guarantees
11. Map任务和动态任务。(在区域列表上映射)，动态dyanmically
12. Multiple基于输入->启动计划创建新的静态图。调度2运行于具有稍微不同的超参数或模型值等

的工作流。

For Admins

对于真正长时间运行的任务，管理员可以部署管理层，而无需为spot/arm/gpu (具有不同版本等)的tasks

• Support配置

• 配额和节流器，而无需升级用户库

。

积分

本机support

• Spark

• mpi作业(帮派、scheduled)

• pandera /远大的数据期望、quality

• Sagemaker

• Easy、serving

• Polars / Modin / dataframe

• tensors /检查点模型的部署等)以及路线图中的许多其他工作

社区

侧重于ML特定特性

路线图

1. CD4ML，以人在循环和外部信号为基础的工作流。这将使用户能够自动部署模型或执行人工循环标记等
2. 支持雷/火花/Dask集群在monitoring
3. Integration和MLFlow中重用，以及其他用于MLFlow等
4. 的工具，更多的本机飞行甲板渲染器

。

希望这能回答你的问题。此外，请加入松弛的社区，并帮助传播这些信息。问更多的问题