首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏深度学习和计算机视觉

    ImageNet 的衰落

    这就是Pachyderm 等工具的用处,Pachyderm 是一个具有内置版本控制和数据沿袭功能的数据科学和处理平台,它的核心是数据版本控制,以支持数据驱动的管道。 如果将 ImageNet 组织为 Pachyderm 中的数据集,则隐私感知版本可能会覆盖原始数据集。 像 Pachyderm 这样将数据放在首位并考虑变化的工具对于将数据隐私引入 AI 来说至关重要,没有它们,我们会发现自己迷失在不断变化的数据和代码的复杂性中。 Pachyderm 一直是我们管理不断变化的数据的首选工具,它极大地提高了在我的机器学习系统上迭代的可靠性和效率,这些类型的工具对于为 AI 的安全和可靠的未来铺平道路至关重要。

    63030编辑于 2022-02-12
  • 来自专栏量子位

    AI续写的《冰与火之歌》怎么样?国外小哥录了一个评书版

    这个项目地址在此: http://docs.pachyderm.io/en/latest/examples/tensor_flow/readme.html

    91330发布于 2018-03-27
  • 来自专栏机器之心

    不要只关注算法与模型,这里有份产品级深度学习开发指南

    Amazon Redshift 特征存储:(保存机器学习的特征) FEAST:基于谷歌云,目前已开源; Michelangelo:Uber 的开源平台; 版本控制 DVC:开源的机器学习版本控制工具; Pachyderm

    1.7K10发布于 2019-12-06
  • 来自专栏CNCF

    声明性数据基础设施为数据驱动企业提供动力

    例如,数据工程团队从基于Hadoop的系统,转移到类似Pachyderm的系统中并不少见,他们使用Airflow将数据管道移动到Kubernetes中,以降低基础设施的成本,并创建可重复的、有弹性的和可扩展的数据管道

    75430发布于 2019-12-04
  • 来自专栏Dance with GenAI

    AI播客下载:Practical AI(人工智能最新进展)

    OpenAI与Hugging Face工具** - **OpenAI的新危险GPT-2语言模型** - **OpenAI、强化学习、机器人、安全** - **使用MemSQL操作MLAI** - **Pachyderm

    31910编辑于 2024-06-26
  • 来自专栏深度学习与python

    DataOps、MLOps 和 AIOps,你要的是哪个Ops?

    Pachyderm 和 DVC 可用于数据版本控制。 4. 测试 软件测试包括单元测试、集成测试和回归测试。DataOps 需要进行严格的数据测试,包括模式变更、数据漂移、特征工程后的数据验证等。

    1.9K20发布于 2021-02-22
  • 来自专栏ApacheHudi

    如何将Apache Hudi应用于机器学习

    类似地,Kubernetes上的ML平台Pachyderm也提供了使用类似git语义的数据版本控制平台。但是,这些类似git的方法只跟踪不可变的文件,而不存储文件之间的差异。

    2.5K30发布于 2021-04-13
  • 来自专栏AI SPPECH

    模型保存、加载与版本管理:安全视角下的加密保存与防窃取实践

    Git LFS 大文件版本控制 中 高 低 简单模型管理 与Git无缝集成 不支持模型元数据管理 Kubeflow 端到端ML流水线 高 低 高 云原生ML 强大的流水线管理,安全特性丰富 部署复杂度高 Pachyderm

    15410编辑于 2026-01-16
  • 来自专栏ThoughtWorks

    机器学习下的持续交付

    你也可以使用其他开源工具来解决这些问题:Pachyderm使用容器来执行pipeline的不同步骤,通过跟踪数据提交并基于此优化流水线的执行,来解决数据版本控制和数据源问题。

    72340发布于 2020-03-13
领券