- 综合排序
- 最热优先
- 最新优先
- 来自专栏Tensorbytes
kubeflow系列(二)：kubeflow组件介绍
为了对kubeflow有个更直观深入的了解，对kubeflow的各组件进行简单的介绍，先从机器学习任务来看kubeflow的的实现。 一个机器学习任务从开始到结束主要分为了四大任务，Kubeflow的各项功能可以说就是围绕这四项任务构建的。 kubeflow kubeflow 最开始基于tf-operator，后来随着项目发展最后变成一个基于云原生构建的机器学习任务工具大集合。 从数据采集，验证，到模型训练和服务发布，几乎所有步骤的小组件 Kubeflow 都提供解决方案的组件： ? kubeflow特点： 基于k8s，具有云原生的特性：弹性伸缩、高可用、DevOps等 集成大量机器学习所用到的工具 结构 kubeflow的完整结构可以看他的kustomize安装文件： kustomize
4.1K61发布于 2020-02-11 - 来自专栏云原生民工
Kubeflow实践笔记
kubeflow介绍 Kubeflow 是 google 开发的包含了机器学习模型开发生命周期的开源平台。 kubeflow 的主要属性是它被设计为在 kubernetes 之上工作，也就是说，kubeflow 利用了 kubernetes 集群提供的好处，例如容器编排和自动扩展。 Kubeflow components in the ML workflow 安装 kubeflow 下载 修改过镜像地址的的代码仓库 1 2 3 git clone https://github.com 项目，手写数字识别 模型查询示例代码： https://github.com/intro-to-ml-with-kubeflow/intro-to-ml-with-kubeflow-examples/ COPY Recommender_Kubeflow.py /opt/kubeflow/ ENTRYPOINT ["python3", "/opt/kubeflow/Recommender_Kubeflow.py
1.3K30编辑于 2023-11-16 - 来自专栏容器计算
Kubeflow Pipeline 部署记录
1 Overview Kubeflow 集成了机器学习的很多组件，比如训练、调参、模型部署，也包括了像 Tensorflow, Pytorch 等框架的支持。 2 Deploy Pipeline 作为 Kubeflow 的组件之一，其实是可以单独部署的，方法可以参考 Github 上的文档。 https://github.com/kubeflow/pipelines/tree/master/manifests/kustomize ? /namespaced-install # 创建 kubeflow 命名空间 kubectl creat ns kubeflow # 执行部署 kubectl kustomize . | kubectl Reference https://github.com/kubeflow/pipelines/tree/master/manifests/kustomize
1.5K40发布于 2020-08-06 - 来自专栏容器计算
Kubeflow 部署采坑记录
"${KUBEFLOW_REPO}/kubeflow" # 从这里开始是安装各种 ks 组件模板，还没多大用处，必须 generate ks pkg install kubeflow/argo ks pkg install kubeflow/pipeline ks pkg install kubeflow/common ks pkg install kubeflow/examples ks pkg install kubeflow/jupyter ks pkg install kubeflow/katib ks pkg install kubeflow/mpi-job ks pkg install kubeflow/metacontroller ks pkg install kubeflow/profiles ks pkg install kubeflow/application ks pkg /kubeflow/kubeflow/${KUBEFLOW_VERSION}/scripts/download.sh | sh cd scripts .
2.8K20发布于 2020-08-06 - 来自专栏自然语言处理
从零搭建机器学习平台Kubeflow
1 Kubeflow简介 1.1 什么是Kubeflow 来自官网的一段介绍： Kubeflow 项目致力于使机器学习 (ML) 工作流在 Kubernetes 上的部署变得简单、可移植和可扩展。 以上来自文章kubeflow–简介 https://www.jianshu.com/p/192f22a0b857，这段引言很好地解释了kubeflow的前生今世，对kubeflow的理解有了更深一层的认识 1.3 Kubeflow与机器学习 Kubeflow 是一个面向希望构建和进行 ML 任务的数据科学家的平台。 ML 工作流中的 Kubeflow 组件如下图所示 1.4 核心组件 构成 Kubeflow 的核心组件，官网这里https://www.kubeflow.org/docs/components/ 有具体介绍，下面是一个我画的思维导图： 2 Kubeflow安装引导 2.1 常用链接 官方定制化安装指南仓库：https://github.com/kubeflow/manifests kubeflow
14.7K64编辑于 2023-08-25 - 来自专栏容器计算
Kubeflow v0.6.0 部署采坑记录
1 Overview 安装条件，可以在 Kubeflow requirements 找到，具体贴出来，因为版本不同，以及 K8S 一些自定义配置会对部署造成影响。 ? P.S. See https://github.com/kubeflow/kubeflow/pull/3663 export CONFIG="https://raw.githubusercontent.com/kubeflow /kubeflow/archive/master.tar.gz to /tmp/try-kf/myapp/.cache/kubeflow filename="v1alpha1/application_types.go :449" INFO[0013] Fetch succeeded; LocalPath /tmp/try-kf/myapp/.cache/kubeflow/kubeflow-master filename Kubeflow 还是很多值得探索的地方的，所以后面还会有更多的分析文章。
1.1K10发布于 2020-08-06 - 来自专栏容器计算
Kubeflow Pipeline - 构建自定义的 Workflow
1 Overview 要把 Kubeflow 的 Pipeline 用溜了，肯定是需要有自定义 Pipeline 的能力了，所以需要熟悉一下 Pipeline 里的一些概念。 这些文档都必须要读一下，否则你是不清楚怎么利用 Kubeflow 团队提供的 SDK 来构建自己的容器工作流的。 ? https://www.kubeflow.org/docs/pipelines/ 本文的目标就是构建一个简单并且本地可用的 Pipeline。 P.S. 两种方法都是 workd 的，可以参考 https://www.kubeflow.org/docs/pipelines/sdk/sdk-overview/ 是一个简单的例子。
3.3K30发布于 2020-08-06 - 来自专栏容器计算
Kubeflow Pipeline - 上传一个 Pipeline
2 理解 Pipeline https://www.kubeflow.org/docs/pipelines/overview/pipelines-overview/ 从官网文档了解，什么是 Pipeline 最后就是，Pipeline 在 Kubeflow 的生态内，结合 Notebook，数据科学家甚至都可以不用跳出去 Kubeflow 来做其他操作，一站式 e2e 的就搞定了。 https://www.kubeflow.org/docs/pipelines/tutorials/build-pipeline/ 主要包括几个步骤。 # 1 下载官方的示例 python 代码来构建 git clone https://github.com/kubeflow/pipelines.git # 2 实例代码在这里 cd pipelines https://www.kubeflow.org/docs/pipelines/sdk/install-sdk/#install-the-kubeflow-pipelines-sdk # 1 安装 pip
1.5K30发布于 2020-08-06 - 来自专栏s09g的技术博客
Vertex AI & kubeflow: 从DevOps到MLOps
Google 在Kubernetes上开发的kubeflow kubeflow 是什么 Kubeflow解决了机器学习从research到production落地的问题，可以看作是一个云原生工具的集合 其实真要说技术上的改进，其实不多kubeflow和TFX都是之前就已经开源的项目。 原因是这套基于kubeflow平台的方案其实并不轻量。如果有某些原因不能直接使用Google 的Vertex AI，那就不得不自己搭建一套了。 毕竟是kubeflow方面仅次于Google的厂商。 国内这块基本上也是空的，阿里和华为的参与度目前都不高，多半以后会自建一套平台。 之前有个CaiCloud才云科技，也参与了kubeflow，被字节收购进了火山引擎。但是不管哪一家都离Vertex AI相去甚远。MLOps目前还是很有搞头的
1.4K20编辑于 2022-07-06 - 来自专栏xingoo, 一个梦想做发明家的程序员
Kubeflow实战: 入门介绍与部署实践
1 介绍 Kubeflow是在k8s平台之上针对机器学习的开发、训练、优化、部署、管理的工具集合，内部集成的方式融合机器学习中的很多领域的开源项目，比如Jupyter、tfserving、Katib、Fairing 人工构建整个过程并进行维护是很复杂的，使用Kubeflow可以节省很多成本。 4 部署 Kubeflow的部署其实很简单，主要是依赖的镜像大多出自Google因此会遇到很多网络问题。 安装时需要下载kfctl并按照文档配置环境变量，比如我试过Ubuntu 18，可以参考下面的文档：https://www.kubeflow.org/docs/started/k8s/kfctl-k8s-istio /，大致流程如下： 1 到地址中下载对应的kfctl，darwin为mac，linux为其他，不支持windows https://github.com/kubeflow/kfctl/releases/
5.3K31发布于 2020-08-11 - 来自专栏TBDS & AI
kubeflow二次开发项目
背景 Datainsight 是基于kubeflow二次开发的项目。是一个专用于k8s上具备可移植性与可扩展性的机器学习工具包。 Experimental phase with Kubeflow.png 在实验阶段，我们将基于初始假使来开发模型，并反复测试和更新模型以产生所需的结果： 1、确定我们要ML系统解决的问题； 2、收集和分析训练 超参数调优越多，得到的模型就越好) Production phase with Kubeflow.png 在生产阶段，我们将部署执行以下过程的系统： 1、将数据转换为训练系统所需的格式。
4.8K61编辑于 2021-12-09 - 来自专栏云原生技术社区
Kubeflow将MLOps引入CNCF孵化器
CNCF 技术监督委员会（TOC）[1]投票接受Kubeflow[2]作为 CNCF 孵化项目。 Kubeflow 是一个开源、社区驱动的项目，用于在 Kubernetes 上部署和管理机器学习（ML）堆栈。 Kubeflow 由 Google 于 2017 年创建。今天，有十个基于 Kubeflow 的商业发行版。这些发行版团队帮助满足 Kubeflow 的数百名贡献者，支持该项目及其数千名用户。 工作流模板可重复使用，Kubeflow 流水线使你的工作负载易于实验和管理。 Manifests Working Group 开发 Kubeflow 的安装过程，包括各个和所有 Kubeflow 组件。
68130编辑于 2023-08-09 - 来自专栏容器计算
Kubeflow Pipeline - 构建一个机器学习 Workflow
1 Overview 前面文章介绍过如何通过 Pipeline 来构建工作流，因为 Kubeflow 主要是在机器学习的场景下使用的，那么本文就简单介绍一下怎么构建一个简单 ML 的工作流。 https://www.kubeflow.org/docs/pipelines/sdk/sdk-overview/ 这里还是提供了两种方法，将代码封装成 component 的，一种是将你的代码用 Docker
1.8K30发布于 2020-08-06 - 来自专栏腾讯云原生团队
云原生 AI 前沿：Kubeflow Training Operator 统一云上 AI 训练
分布式训练与 Kubeflow 当开发者想要讲深度学习的分布式训练搬上 Kubernetes 集群时，首先想到的往往就是 Kubeflow 社区中形形色色的 operators，如 tf-operator Kubeflow 中的 operators 作为下发创建分布式训练任务的工具。 Kubeflow Operators 的问题 在 2019 年初，Kubeflow 社区启动了 kubeflow/common 项目用以维护 operator 之间重复使用的部分代码。 然而，整个 Kubeflow 训练 operators 的项目维护依然存在许多挑战。 我们欢迎更多的同学能够尝试、体验 Kubeflow 并且投入到 Kubeflow 项目中来。
2.1K60发布于 2021-09-09 - 来自专栏IT大咖说
Kubeflow用户研究：Data Scientist是一群什么生物？
内容来源：2018 年 04 月 22 日，Pinlan创始人兼CEO李一帆在“全球首发| Kubeflow Meetup 4.22 杭州场，开拓 AI 新视野”进行《在 Kubeflow 上的 AI 阅读字数：2250 | 6分钟阅读 摘要 Kubeflow 是一个令人兴奋的机器学习与分布式系统结合的项目，不仅仅是系统界的程序员对其感兴趣，所有的数据科学家也同样对它给予了厚望，本次分享，聚焦于数据科学家作为 Kubeflow 目标用户的使用体验与对未来更多展望。 Kubeflow展望 针对前面提到的各种问题，无论是Solo还是团队中的，kubeflow都提供了相应的解决方案。
82920发布于 2018-10-08 - 来自专栏Tensorbytes
kubeflow系列(三)：模型即服务，关于tensorflow serving的使用
kubeflow 中采用了 tensorflow serving 作为官方的tensorflow模型接口， TensorFlow Serving是GOOGLE开源的一个服务系统，适用于部署机器学习模型， (2)或者可以用k8s运行deployment(kubeflow)： apiVersion: extensions/v1beta1 kind: Deployment metadata: labels : app: inception name: inception-service-local namespace: kubeflow spec: template: metadata
2.1K20发布于 2020-02-11 - 来自专栏IT大咖说
从 Google TFX 到 Kubeflow：容器化交付敏捷 AI 平台
内容来源：2018 年 04 月 22 日，才云科技创始人兼CEO张鑫在“全球首发| Kubeflow Meetup 4.22 杭州场，开拓 AI 新视野”进行《从 Google TFX 到 Kubeflow 近期，Google 与 Caicloud 等合作伙伴更是联合推出了 Kubeflow 项目，希望打造开源版的 TFX。 Kubeflow作为一个新兴的项目其实还远未达到TFX这样的级别，目前kubeflow在整个环节中主要聚焦到上图所示的几个模块，分别是分布式训练、模型验证、模型发布后的可扩展运行。 Kubeflow现状 ? 上图是GitHub上kubeflow项目的现状，它下面有很多的代码仓库，可以说这个项目本身也是模块化的。 kubeflow到目前为止已经有了65位贡献者，3000+的start以及700个commits。
2.4K30发布于 2018-10-23 - 来自专栏ccf19881030的博客
开源技术 * IBM 微讲堂 | Kubeflow 系列（观看回放 | 下载讲义）
IBM 开源技术微讲堂将从 9 月 24 日开启全新系列课程——Kubeflow，介绍 Kubeflow 的方方面面。 简介 Kubeflow 是用于 Kubernetes 的机器学习工具包。 也可以在本地计算机或企业内部安装 Kubeflow。 目标听众 对 Kubeflow 感兴趣的技术开发者。 日程安排 时间 主题 摘要 9.24 Kubeflow: 端到端的机器学习平台 扼要介绍 Kubeflow 的概念，发展历程和主要模块，您将对 Kubeflow 各个模块基本功能有初步基本了解。 10.15 Kubeflow 控制面板：使用 Operator 框架管理和部署 Kubelow 深入介绍 Kubeflow 的控制面板，并且讲解如何通过 Operator 来部署和管理 Kubeflow Kubeflow 概览和功能介绍 在本次课程中，讲师从机器学习生命周期的出发，介绍了 Kubeflow 这个端到端的机器学习工具集，概括讲述了 Kubeflow 的每个模块在生命周期的每个阶段起到的作用和使用方法
1.2K10发布于 2020-11-24 - 来自专栏罗西的思考
深度学习分布式训练框架 horovod (18) --- kubeflow tf-operator
1.3 Kubeflow Kubeflow 是一个开源的 Kubernetes 原生平台，用于开发、编排、部署和运行可扩展的便携式机器学习工作负载。 Kubeflow 可以在任何Kubernetes 集群上运行。 1.4 Tensorflow on Kubeflow Kubeflow 支持两种不同的 Tensorflow 框架分布式训练方法。 1.6 TF-Operator 虽然KubeFlow提供了一大堆组件，涵盖了机器学习的方方面面，但模型训练肯定是KubeFlow最重要的功能。 KubeFlow针对各种各样的机器学习框架提供了训练的能力。
1.6K30发布于 2021-07-27 - 来自专栏腾讯云容器专家服务的专栏
如何在1.18版本的TKE集群中搭建kubeflow环境
一、什么是kubeflow？ 以下是来自Kubeflow的官网翻译： Kubeflow项目致力于使机器学习（ML）工作流在Kubernetes环境达到部署简单，可移植且可扩展的目的。 Kubeflow项目希望在运行Kubernetes的任何地方，您都应该能够轻松、快速的运行Kubeflow。 2、准备Kubeflow的运行环境 APIserver开启对TokenRequest特性的支持。 三、部署Kubeflow 这里安装的版本为v1.2.0。后续有出入自行调整。 国内用户可以将镜像提前下载转移到国内的镜像仓库，然后修改部署配置中的镜像地址来部署Kubeflow。
1.9K100发布于 2020-12-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号