首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏ATYUN订阅号

    Netflix开源Metaflow Python库

    编辑 | KING 发布 | ATYUN订阅号 Netflix的数据科学团队已将其Metaflow Python库开源,该库是“以人为中心”的机器学习基础架构的关键部分,用于构建和部署数据科学工作流。 Metaflow背后的想法是使Netflix数据科学家能够及早查看原模型是否会在生产中失败,从而使他们能够解决所有问题并理想地加快部署时间。 Netflix在2月份透露,Metaflow已将部署时间从四个月缩短到了仅仅7天。 在S3中对代码进行快照的功能使Metaflow能够实现自动版本控制和实验跟踪,因此开发人员可以安全地检查和恢复Metaflow的执行情况。 ? Metaflow还与基于AWS容器的计算平台Batch集成。Netflix 认为,AWS上的Metaflow可以让开发人员提高在笔记本电脑上进行开发的速度,同时可以在云中使用更深的计算资源。

    82210发布于 2019-12-17
  • 来自专栏可观测性

    MetaFlow开源 帮助开发者建设高度自动化可观测性平台

    4.png MetaFlow Agent支持集成广泛的开源Agent和SDK的观测数据。 MetaFlow Server进程包含了4个内部模块:1)Controller面向采集器Agent的管理,能纳管多资源池的10万量级的Agent;2)Labeler面向标签数据的自动注入,提供AutoTagging 5.png 一个Server进程囊括4个模块,是因为我们希望将复杂度隐藏在MetaFlow内部,展现给使用者的是一个干净的使用界面。 四、结语 在存储方面,作为第一个MetaFlow开源版本,默认提供ClickHouse的选项,开发者也可以组合、扩展更多的数据库选项。 希望MetaFlow开源,能够帮助开发者构建一个自动化的可观测性平台,彻底释放开发者的生产力,带来自由。

    1.5K40编辑于 2022-05-30
  • 来自专栏CNCF

    Metaflow|Kubernetes上以人为中心的数据科学

    详情可参阅我们的Kubernetes 部署指南[4]。 自 Metaflow 早期以来,我们一直认为数据科学和机器学习项目应该有一条从原型到生产的无摩擦路径。 AWS 上以人为中心的数据科学 Netflix 在 2019 年开源 Metaflow[9]时,我们使用亚马逊网络服务提供的服务提供了一条毕业路径: AWS Batch 为第二阶段提供了一个简单的解决方案 /going-to-production-with-metaflow/scheduling-metaflow-flows/scheduling-with-argo-workflows [4] Kubernetes //docs.metaflow.org/going-to-production-with-metaflow/scheduling-metaflow-flows [9] Netflix 在 2019 年开源 CNCF(云原生计算基金会)致力于培育和维护一个厂商中立的开源生态系统,来推广云原生技术。我们通过将最前沿的模式民主化,让这些创新为大众所用。

    1.2K10编辑于 2022-06-10
  • 来自专栏GitHubDaily

    MiniGPT-4开源了!

    不知不觉,距 GPT-4 首次公开问世,已经过去一个月了。 在这段时间,有不少人拿到了 GPT-4 API 权限,开通了 ChatGPT Plus,提前体验了 GPT-4 的能力。 这些人无一例外,都被 GPT-4 强大的逻辑分析、统筹规划能力深深折服。 无论是论文创作、编写代码、还是数据分析,GPT-4 都给出了令人惊艳的表现。 该项目名为 MiniGPT-4,是来自阿卜杜拉国王科技大学的几位博士做的。 它能提供类似 GPT-4 的图像理解与对话能力,让你先人一步感受到图像对话的强大之处。 GitHub:https://github.com/Vision-CAIR/MiniGPT-4 在线体验:https://minigpt-4.github.io/ 项目作者认为,GPT-4 所实现的多模态能力 在研究中,他们发现 MiniGPT-4 具有许多类似于 GPT-4 的能力,如详细的图像描述生成、从手写草稿创建网站等。

    69341编辑于 2023-04-27
  • 来自专栏Jack-Cui

    MiniGPT4开源了。

    一个月前,我发布过一篇文章,讲解了 GPT4 的发布会。 该项目名为 MiniGPT-4,是阿卜杜拉国王科技大学的几位博士做的。 最主要的是,完全开源! GitHub:https://github.com/Vision-CAIR/MiniGPT-4 在线体验:https://minigpt-4.github.io 作者还提供了网页 Demo,可以直接体验 : MiniGPT-4 是在一些开源大模型基础上训练得到的,fine tune 分为两个阶段,先是在 4 个 A100 上用 500 万图文对训练,然后再用一个一个小的高质量数据集训练,单卡 A100 本地部署也不复杂,根据官方教程直接配置环境: git clone https://github.com/Vision-CAIR/MiniGPT-4.git cd MiniGPT-4 conda env 

    91040编辑于 2023-04-28
  • 来自专栏Python绿色通道

    2019 年 10 大顶级 Python 支持库

    最后,对于开源支持库而言,它的技术支持文档也非常不错。说真的,去看一下吧! 4. 只要安装 Modin,更改 import 语句,在多核笔记本上,处理数据的速度就能提高 4 倍。 我滴个神 ~~ 这是怎么做到的? Metaflow 项目网址: https://docs.metaflow.org/introduction/what-is-metaflow Metaflow 这个支持库实在太新了,差点就没赶上 2019 结论 这一年,或者说又一个10 年马上就要过去了,开源社区这些年的对世界的贡献将对今后几年产生深远的影响。 想要了解这些年的优秀开源库,就来看下我们这几年的榜单吧:2015、2016、2017、2018。

    96110发布于 2019-12-26
  • 来自专栏机器之心

    SysML 2019论文解读:推理优化

    在图 4 中,(a) 当使用 2 位量化时,截略和量化相对于参数 α 的归一化均方误差(MSE)之间的权衡。(b) 展示了 PACT 为 QNN 找到截略和量化误差的平衡的方式。 图 4:(a) 截略和量化相对于 α 的归一化 MSE。(b) 在一个 2 位量化的模型上,PACT 的最低验证误差和截略的验证误差在不同 α 上的比较。 图 5:(a) 根据参数α_w 选出量化的 4 个点。(b) 根据 6 个不同的分布执行最优比例的线性回归。 和这篇论文中所有研究一样,其量化是 2 位式的(4 级)。 问题是这样的:「我们如何设置权重值的 4 个量化层级,使得我们可将权重值映射到其最近的量化层级并且准确度的降低最小?」 蓝线是没使用 MetaFlow 的优化图的三个基准框架得到的最佳结果,红线是 MetaFlow 结果。 ?

    1.3K30发布于 2019-04-29
  • 来自专栏爱写Bug

    Python Weekly 426

    v=jp0eiGn4jto 学习使用 Python 制作一个 Indeed 机器人。 使用 Python 分析电脑上的 100 GB 数据 链接: https://t.co/52y7IjNSqm 使用 Python 的开源库 Vaex 来可视化并分析 100 GB 的表格数据。 减少 Pandas 的内存使用量#2:有损压缩 链接: https://pythonspeed.com/articles/pandas-reduce-memory-lossy/ 有趣的项目,工具和库 Metaflow 链接: https://metaflow.org/ 在 Netflix 上开发的用于现实数据科学的框架。 Metaflow 使构建和管理现实中的数据科学项目变得容易快捷。

    2.1K30发布于 2019-12-18
  • 来自专栏深度学习与python

    为什么数据科学家不需要了解 Kubernetes

    4 开发和生产环境分离 那么为什么会有这种不合理的预期? 在我看来,一个原因是数据科学的开发和生产环境之间存在着很大的差别。 两年前,Netflix 开源Metaflow,这是一个基础设施抽象工具,使他们的数据科学家能够开展全栈工作,而不必担心底层基础设施。 Metaflow 像 Kubeflow 和 Metaflow 这样的基础设施抽象工具,旨在将运行 Airflow 或 Argo 通常需要的基础设施模板代码抽象出来,帮助你在开发和生产环境中运行工作流。 从用户体验的角度来看,我认为 Metaflow 更胜一筹。 在 Metaflow 中,你可以使用 Python 装饰器@conda来指定每个步骤的需求——所需的库、内存和计算资源需求——Metaflow 将自动创建一个满足所有这些要求的容器来执行该步骤。

    2K20发布于 2021-11-10
  • 来自专栏用户2910674的专栏

    开源了,免费使用GPT4

    (帮我点点赞哦~) 今天的主题是:分享一个免费使用GPT4开源项目,那么这篇文章将对你或者她、他帮助极大,欢迎你分享给她、他。 项目简介 “项目地址:https://github.com/xtekky/gpt4free 项目简介:官方 gpt4free 存储库 |各种强大的语言模型集合 ” 这个项目是由计算机科学专业的学生 Xtekky 环境 git clone https://github.com/xtekky/gpt4free cd gpt4free conda create -n gpt4free python=3.9 conda cd gpt4free conda activate gpt4free export G4F_PROXY=http://127.0.0.1:7890 python g4f/gui/run.py 服务默认运行在 体验 gpt4free: 官方GPT4: 整体还行,速度没有直接GPT官网访问快,但是也还行,回复质量也可以,毕竟免费能接受,还能使用GPT4等一众模型,支持模型列表: 感兴趣就快去体验吧~ 还能连续对话

    1.2K11编辑于 2024-01-10
  • 来自专栏Qt项目实战

    Qt开源作品4-网络调试助手

    break; } } } } } 三、效果图 [nettool.gif] 四、开源主页 以上作品完整源码下载都在开源主页,会持续不断更新作品数量和质量,欢迎各位关注。

    2.2K30发布于 2020-04-28
  • 来自专栏Joomla CMS

    开源建站系统,Joomla 4即将出现

    Alpha版本有两个主要目标: 为开发人员提供测试扩展的基础,并在最终版本发布前报告任何问题 允许用户发现Joomla 4中引入的新功能。 Joomla 4有什么新东西? 我们坚定地致力于让下一代Joomla成为最好的。Joomla 4将提供简单性和更好的用户体验,同时也是开发人员更强大的系统。 以下是我们打算实施的Joomla 4主要功能和优势的简短列表: 更清晰,更强大的代码库。

    3.8K60发布于 2019-07-17
  • 来自专栏架构驿站

    一文读懂开源 Llama 4 模型

    Hello folks,我是 Luga,今天我们来聊一下人工智能领域的最新大模型技术进展 - 构建高效、灵活、以及开源的的大模型 - Llama 4 。 作为 Llama 4 系列模型,Meta AI 推出的 Scout、Maverick 和 Behemoth——是一组高效能、开源且多模态的语言模型,标志着 AI 技术在性能与可访问性上的全新突破。 更令人瞩目的是,这些模型支持高达 1000 万 token 的上下文长度,创下了当前所有开源权重 LLM 的最长记录。 2、Llama 4 Maverick:强大可靠的旗舰之选 Maverick 作为 Llama 4 家族的旗舰开源模型,专为高级推理、编码和多模态应用而生。 在应用场景落地方面,尽管目前仅限内部使用,Behemoth 作为 Meta 的黄金评估标准,驱动了家族模型的性能提升,并为未来开源奠定了技术基础。

    1.1K20编辑于 2025-04-07
  • 来自专栏Jack-Cui

    4个惊艳的AI项目,开源了!

    项目地址: https://github.com/TencentARC/BrushNet 四、MediaCrawler 这是一款开源的爬虫项目,用于爬取小红书、抖音、快手、B站、微博的视频、图片、评论、

    2.2K20编辑于 2024-04-03
  • 智谱开源AI绘图CogView4,曾经的开源之光回来了。

    上周DeepSeek连续5天开源硬核技术,阿里开源万相2.1,Qwen的推理模型推出预览版,但是肯定马上也要开源。 今天智谱和清华团队直接开源了他们的AI绘图模型,CogView4。 这下,真的快补上2025年开源届的拼图了。 第一个点就是,CogView4支持中英文字直接生成,跟我之前写过的即梦2.1还挺像的,但是智谱的CogView4,是开源的。 这也是开源的AI绘图模型里,第一个支持同时生成中英文字的。 后续,他们又开源了非常非常非常多的模型,比如GLM-4、GLM-4-Voice、CogVideoX v1.5、CogAgent等等等等。 时光匆匆,一晃眼,两年了。 在今天CogView4的仓库里面有这么一张官方生成的Demo图。 他们把2025年,定义为智谱AI自己的开源年。 不破不立,破而后立。 期待智谱拿下更多超级融资的同时,也能在开源路上越走越远。

    76110编辑于 2025-04-14
  • 来自专栏腾讯开源的专栏

    开源公告】微服务架构Tars于4月10日正式对外开源

    4月10日正式开源 官方开源地址: https://github.com/Tencent/Tars 喜欢它别忘了去github上给它一个star!

    77660发布于 2018-03-02
  • 来自专栏算法一只狗

    首个超越GPT-4o的开源模型:LLAMA3.1开源

    今年4月份的时候,META发布了自己的第三代开源模型LLAMA3,并且在那次就说了LLAMA3目前还在训练当中。 开源模型的几个亮点从官方放出的LLAMA3.1来看,有以下几个关键要点:模型上下文长度扩展:目前LLAMA3.1已经把模型上下文长度扩充到128K,对比于LLAMA2只有4k~8k,其提升幅度还是比较大模型开源版本覆盖 同时LLAMA3.1模型还有开源的70B、8B,并且这较小模型与具有相似参数数量的其他模型对比来看,在多个测试集上效果也更强:目前可以在huggingface网站上下载LLAMA3.1,META提供了多个不同的版本 虽然这个405B的大模型在一定程度上已经超越了GPT-4o,但是超越了目前的4o模型,并不代表能够超越OpenAI的GPT-4模型,要知道4o是在GPT-4的基础上优化了两个版本(GPT-4 TURBO OpenAI目前都在开始卷小模型市场,GPT-4o mini或许能够成为最具性价比的大模型。因此一直走开源路线的LLAMA3.1还需要不断继续优化,成为普通人都能用到的一个性价比更好的大模型才是关键。

    1K20编辑于 2024-08-14
  • 来自专栏编程拯救世界

    开源世界大冒险 | 第 4 期:Git 基础

    Git 简介 在第二期《开源世界大冒险 | 第 2 期:聊聊版本控制》中,我们对版本控制进行了讲解。 Git 诞生 Linux 之父 Linus Tovalds[1] 在 1991 年创建了开源的 Linux[2]。 ? 使用闭源工具进行开源项目的代码管理,这个决定在 Linux 社区备受质疑和争议。 这一导火索迫使 Linux 开源社区,特别是 Linus 本人,开发一款属于自己的版本管理工具。 于是十天后,Git 诞生。 2005 年,Git 以 GPL[4] 发布,它最初的目的仅仅是为了更好管理 Linux 内核代码。而后,Git 凭其优势迅速成为最流行的分布式版本控制系统。

    61130发布于 2019-12-11
  • 来自专栏开源社

    我在开源社区的 4 年运营经验

    开源是我做的最好的事情。尽管它不是传统的开源库或工具,但我所经历的许多学习和挑战与其他开源维护者完全一样。 接下来,我将分享维护此开源项目汲取的十个经验。 1 向贡献者学习 做开源,可以从其他贡献者那里学到很多。 4 贡献不一定全部是代码 贡献不必全部都是代码。 7 金钱不是感谢贡献者的唯一奖励 我在 2017 年和 2018 年参加的 SustainOSS(我在 2017 年和 2018 年参加的开源会议)上的一个话题是如何为开源项目提供财务支持,Nadia 最终,每个开源项目都面临这个问题,类似#sustainnoss 这样的社区正在探索的关键问题是如何使开源项目更具可持续性。 *本文图片来源网络,如有侵权请联系删除!

    1.1K10发布于 2019-11-23
  • 来自专栏.NET企业级解决方案应用与咨询

    .NET6 平台系列4 .NET开源之路

    在聊.NET开源之前,先聊一聊微软公司的三位CEO掌舵微软的传奇故事。 2019年,年内微软股价仍大幅上涨,4月25日微软股价一度触及130.89美元/股,市值达到了1.003万亿美元。    .NET 开源之路 ?   微软在Build2014大会上宣布Windows Library for JavaScript (WinJS) 开源,支持跨平台开发应用。 这项举措将进一步推动开源事业的发展。在微软官方声明中介绍,这项基金会将为企业客户、开发者用户提供一个社区平台,进一步强化.NET生态圈,推动开源、社区参与性以及创新能力。 自此,微软.NET平台正式开启开源、快平台之路。

    1.5K10发布于 2021-04-28
领券