- 综合排序
- 最热优先
- 最新优先
- 来自专栏ATYUN订阅号
Netflix开源Metaflow Python库
编辑 | KING 发布 | ATYUN订阅号 Netflix的数据科学团队已将其Metaflow Python库开源，该库是“以人为中心”的机器学习基础架构的关键部分，用于构建和部署数据科学工作流。 Metaflow背后的想法是使Netflix数据科学家能够及早查看原模型是否会在生产中失败，从而使他们能够解决所有问题并理想地加快部署时间。 Netflix在2月份透露，Metaflow已将部署时间从四个月缩短到了仅仅7天。 在S3中对代码进行快照的功能使Metaflow能够实现自动版本控制和实验跟踪，因此开发人员可以安全地检查和恢复Metaflow的执行情况。 ? Metaflow还与基于AWS容器的计算平台Batch集成。Netflix 认为，AWS上的Metaflow可以让开发人员提高在笔记本电脑上进行开发的速度，同时可以在云中使用更深的计算资源。
82010发布于 2019-12-17 - 来自专栏可观测性
MetaFlow开源 帮助开发者建设高度自动化可观测性平台
4.png MetaFlow Agent支持集成广泛的开源Agent和SDK的观测数据。 MetaFlow拒绝造轮子，因此对于Telegraf、Prometheus、SkyWalking、OpenTelemetry、Sentry、Loki等开源社区优秀的可观测性数据源，MetaFlow都能集成进来 MetaFlow Server进程包含了4个内部模块：1）Controller面向采集器Agent的管理，能纳管多资源池的10万量级的Agent；2）Labeler面向标签数据的自动注入，提供AutoTagging 四、结语 在存储方面，作为第一个MetaFlow的开源版本，默认提供ClickHouse的选项，开发者也可以组合、扩展更多的数据库选项。 希望MetaFlow的开源，能够帮助开发者构建一个自动化的可观测性平台，彻底释放开发者的生产力，带来自由。
1.5K40编辑于 2022-05-30 - 来自专栏CNCF
Metaflow｜Kubernetes上以人为中心的数据科学
AWS 上以人为中心的数据科学 Netflix 在 2019 年开源 Metaflow[9]时，我们使用亚马逊网络服务提供的服务提供了一条毕业路径： AWS Batch 为第二阶段提供了一个简单的解决方案 每当数据科学家想要向云扩展时，它负责动态启动 EC2 实例。 参考资料 [1] Metaflow: https://docs.metaflow.org/ [2] 将计算扩展到 Kubernetes 集群: https://docs.metaflow.org/metaflow //docs.metaflow.org/going-to-production-with-metaflow/scheduling-metaflow-flows [9] Netflix 在 2019 年开源 CNCF（云原生计算基金会）致力于培育和维护一个厂商中立的开源生态系统，来推广云原生技术。我们通过将最前沿的模式民主化，让这些创新为大众所用。
1.2K10编辑于 2022-06-10 - 来自专栏Python绿色通道
2019 年 10 大顶级 Python 支持库
2. 最后，对于开源支持库而言，它的技术支持文档也非常不错。说真的，去看一下吧！ 4. Metaflow 项目网址： https://docs.metaflow.org/introduction/what-is-metaflow Metaflow 这个支持库实在太新了，差点就没赶上 2019 结论 这一年，或者说又一个10 年马上就要过去了，开源社区这些年的对世界的贡献将对今后几年产生深远的影响。 想要了解这些年的优秀开源库，就来看下我们这几年的榜单吧：2015、2016、2017、2018。
95910发布于 2019-12-26 - 来自专栏机器之心
SysML 2019论文解读：推理优化
MetaFlow 会自动将优化过的计算图变换成基准框架会接受的标准格式，因此可以与基准比较测试。图 2 给出了比较的结果。 蓝线是没使用 MetaFlow 的优化图的三个基准框架得到的最佳结果，红线是 MetaFlow 结果。 ? 图 2：MetaFlow、TensorFlow、TensorFlow XLA 和 TensorRT 的端到端性能比较 可以看到，MetaFlow 速度更快，优于已有的深度学习推理引擎。 表 2 给出了 MetaFlow 和 TensorRT 在这些指标上的比较。 ? 表 2：MetaFlow 和 TensorRT 在不同指标上的性能比较 相比于 TensorRT，MetaFlow 能够减少整体的内存访问量以及核启动的数量。
1.3K30发布于 2019-04-29 - 来自专栏深度学习与python
为什么数据科学家不需要了解 Kubernetes
Metaflow 2 注意 生产是一个范畴。对于有些团队，生产意味着从笔记本生成的结果生成漂亮的图表向业务团队展示。对于其他团队，生产意味着保证每天服务于数百万用户的模型正常运行。 两年前，Netflix 开源了 Metaflow，这是一个基础设施抽象工具，使他们的数据科学家能够开展全栈工作，而不必担心底层基础设施。 从用户体验的角度来看，我认为 Metaflow 更胜一筹。 在 Metaflow 中，你可以使用 Python 装饰器@conda来指定每个步骤的需求——所需的库、内存和计算资源需求——Metaflow 将自动创建一个满足所有这些要求的容器来执行该步骤。 GPU of 16GB memory @batch(gpu=2, memory=16000) @step def fitB(self): self.model =
2K20发布于 2021-11-10 - 来自专栏爱写Bug
Python Weekly 426
使用 Python 分析电脑上的 100 GB 数据 链接: https://t.co/52y7IjNSqm 使用 Python 的开源库 Vaex 来可视化并分析 100 GB 的表格数据。 如何在 AWS Elastic Beanstalk 上部署 Django Channels 2.x 链接: https://t.co/HiZSXhJMYP nbedv：使用 Jupyter-Notebooks 链接: https://t.co/qBVSBuB0jA 减少 Pandas 的内存使用量＃2：有损压缩 链接: https://pythonspeed.com/articles/pandas-reduce-memory-lossy / 有趣的项目，工具和库 Metaflow 链接: https://metaflow.org/ 在 Netflix 上开发的用于现实数据科学的框架。 Metaflow 使构建和管理现实中的数据科学项目变得容易快捷。
2.1K30发布于 2019-12-18 - 来自专栏腾讯开源的专栏
【开源公告】星际争霸2游戏AI TStarBots开源
TStarBots是《星际争霸2》游戏AI的代码实现。TStarBots使用了深度强化学习、模块化AI和动作空间分解等算法，以及大规模分布式强化学习平台。 本次开源的代码包括三部分： PySC2TencentExtension: 这是Deepmind原版PySC2的一个扩展。 增补的内容包括：1）暴露了game core中的raw interface 2) 添加了TechTree Data. TStarBot2: 这是一个基于动作空间层级化建模和规则控制器的AI. 详细描述见[1]的3.3节。 参考文献 [1] https://arxiv.org/pdf/1809.07193.pdf Github开源地址： https://github.com/Tencent/TStarBots （点击文末阅读原文直接访问
1.8K10发布于 2019-01-07 - 来自专栏MavenTalk
开源版ChatGPT：Llama2免费商用开源，王者归来
有开源底座做支撑，当然有这个底气。看一看这个列表，LLaMa 2的发布，不知道几家欢乐几家愁，或者是都在发愁？ 能力提升 Llama 2 同样是基于 Transformer 架构的语言模型，与 GPT-3.5 相比，Llama 2 家族包含多个模型规模，包括 70 亿、130 亿等多个版本，覆盖了不同的应用场景需求 社区试用版 Llama2 在Huggingface AI社区部署了一个线上试用版，可以登陆来看看Llama2的效果，远比LLaMa强大，响应时间很快，关键是可以商用。 未来畅想 Llama 2 这块巨石被投入到湖中央，相信马上就会激起涟漪，甚至是波浪，一众模型升级至Llama 2已经在发生。 或者类似于其它开源产品，基本版开源可商用，高级版商用付费也说不准，也不排除Meta对标Google，将Llama打造成Android一样开源产品，风靡世界。
52350编辑于 2023-09-06 - 来自专栏DevOps
开源KMS之vault part2
Initialized true Sealed true Total Shares 5 Threshold 3 Unseal Progress 2/ ，在创建账号的时候，也支持定义策略，例如这种写法： vault write auth/userpass/users/sethvargo password=secret policies= secert2- ----- token hvs.CAESIHl30Q30Fa4qgFItwcWQqQU-qkwyST9WSTse0QpCSSeiGh4KHGh2cy5Rd3JFN2FoYk5XVDlVc0x1bDFTaGZnZ2c 的ttl时间，可以看到已经生效了（需要注意的是之前创建的token的ttl的时间还是保持之前的768h） $ vault token lookup hvs.CAESINxMTgrMkGe9NWCIGE2qS3S3tSm5AnPceRaDWMU1QkhdGh4KHGh2cy5XYWNSeWwySkp5UmdaQTVWc0diOHhrazg -07-22T20:47:46.24519052+08:00 explicit_max_ttl 0s id hvs.CAESINxMTgrMkGe9NWCIGE2qS3S3tSm5AnPceRaDWMU1QkhdGh4KHGh2cy5XYWNSeWwySkp5UmdaQTVWc0diOHhrazg
47610编辑于 2024-06-02 - 来自专栏ThoughtWorks
Thoughtworks第26期技术雷达——工具象限
Metaflow Metaflow 是一个对用户友好的 Python 库和后端服务，可以帮助数据科学家和工程师构建和管理可用于生产的数据处理、机器学习训练及推理的工作流。 在撰写本条目时，Metaflow 和 AWS 服务高度集成，例如使用 S3 来做数据存储，step functions 来做编排。除 Python 以外，Metaflow 还支持 R 语言。 其核心功能都是开源的。 如果你正在 AWS 上构建和部署生产环境的机器学习和数据处理流水线，作为一个轻量级的全栈框架，Metaflow 可以替代例如 MLflow 这类更复杂的平台。 相比之下，Comby 是一个用于自动化重复性任务的轻量级开源命令行工具。由于 Sourcegraph 是一个托管服务，它能持续监测代码库，并在成功匹配时发出警报。 它是一个开源软件, 在 macOS、Linux、Windows 和 Docker 均可访问，开箱即用支持 AWS 、 GCP 和微软 Azure 的定价。
2.4K30编辑于 2022-04-22 - 来自专栏DotNet NB && CloudNative
精选2款.NET开源的博客系统
前言 博客系统是一个便于用户创建、管理和分享博客内容的在线平台，今天大姚给大家分享2款.NET开源的博客系统。 StarBlog StarBlog是一个支持Markdown导入的开源博客系统，后端基于最新的.Net6和Asp.Net Core框架，遵循RESTFul接口规范，前端基于Vue+ElementUI开发 开源地址：https://github.com/Deali-Axy/StarBlog 详细介绍：https://mp.weixin.qq.com/s/DveemFRAZKNRYDD6ZIWsIA 使用技术栈 开源地址：https://gitee.com/miss_you/easy-admin 详细介绍：https://mp.weixin.qq.com/s/CdHbePejyzXMoHXG03kocQ 使用技术栈
26910编辑于 2025-02-18 - 来自专栏Spark学习技巧
大数据OLAP系统（2）——开源组件篇
2.1 开源MOLAP系统分析 2.1.1 Kylin Apache Kylin 是一个开源的分布式分析引擎，提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据 1: 字典 { "Justin BIeber": 0, "Ke$ha": 1 } 2. map将字符串值映射为整数id，以便可以紧凑地表示（2）和（3）中的值。 （3）中的bitmap（也被称为倒排索引）允许快速过滤操作（特别地，bitmap便于快速进行AND和OR运算），这样，对于过滤再聚合的场景，无需访问（2）中的维度值列表。 2.3.4 Drill Drill是MapR开源的一个低延迟的大数据集的分布式SQL查询引擎，是谷歌Dremel的开源实现。
2.8K40发布于 2020-12-28 - 来自专栏Java项目实战
开源项目Springboot_v2真香系列
之前找过很多开源项目，用于生成代码，和权限管理，但功能全的需要付费，小功能的项目又不实用，这次的开源项目，功能十分强大，且拿来即用。 介绍 SpringBoot_v2项目是努力打造springboot框架的极致细腻的脚手架。 MyBatis Generator 代码生成 PageHelper MyBatis物理分页插件 hikari 数据库连接池 Thymeleaf 模板引擎 Log4J 日志组件 Swagger2 sql到数据库 注意：由于数据库设置问题，个人进行导入会出现乱码，导致前端页面乱码，非编码 2.确认自己的mysql版本 进行修改jar 在pom.xml 73-84行 Select@@version 项目地址 https://gitee.com/bdj/SpringBoot_v2 ?
1.2K20发布于 2020-03-11 - 来自专栏CreateAMind
代码开源---强化学习赛车视频2
https://github.com/createamind/a3c333 更复杂 参考README.md
50420发布于 2018-07-24 - 来自专栏全栈程序员必看
开源库TinyXML2简介及使用
TinyXML2是一个开源、简单、小巧、高效的C++ XML解析器，它只有一个.h文件和一个.cpp文件组成，可以轻松集成到其它程序中。 // Blog tinyxml2::XMLElement* blog2 = doc.NewElement("Blog"); blog2->SetAttribute("Name", "CSDN" ); root->InsertEndChild(blog2); tinyxml2::XMLElement* addr = doc.NewElement("Address"); tinyxml2: (code2); tinyxml2::XMLElement* addr2 = doc.NewElement("Address"); tinyxml2::XMLText* text5 = doc.NewText ("https://github.com//fengbingchun"); addr2->InsertEndChild(text5); code2->InsertEndChild(addr2);
1.9K10编辑于 2022-07-01 - 来自专栏架构驿站
一文读懂 LLaMa 2 开源 LLM
— 01 — 什么是 LLaMa 2 ？ LLaMa 2 是由 Meta 公司开发的开源大型语言模型（LLM）。 5、聚焦开源生态 与 v1 相比，LLaMa 2 拥有更加灵活的许可协议，允许商业用途。 开源属性，即任何个人或组织都可以免费使用。 这使得 LLaMa 2 的推出成为开放式创新的重大进展。与闭源模型相比，LLaMa 2 的开源性使得公司和开发者能够更轻松地试验、创建和定制他们所需的人工智能驱动工具和应用程序。 此外，开源性还鼓励了更广泛的合作和知识共享。任何人都可以参与 LLaMa 2 的开发和改进，通过贡献代码、提出建议和分享经验，共同推动人工智能领域的发展。
2.2K31编辑于 2023-12-04 - 来自专栏Android知识点总结
O2-开源框架使用之Picasso
个人感觉Picasso还是非常好用的，它是图片加载的类库 1.依赖 implementation 'com.squareup.picasso:picasso:2.71828' 2. c.jpg") .into(mIdIdImg); 这里顺便说一句：Picasso网络加载默认是缓存到本地的：在data/data/本包/cache下 图片缓存.png 2. 加载图片2.png ---- 3.加载res图片资源： 这个应该很熟了： Picasso.get().setIndicatorsEnabled(true); Picasso.get() int y = (source.getHeight() - size) / 2; Bitmap squaredBitmap = Bitmap.createBitmap( / 2; float degB = 360 / (num - 1) / 2 - degA / 2 + degA; path.moveTo((float) (Math.cos
64140发布于 2018-09-29 - 来自专栏HelloGitHub
开源 2 年、打磨 13 年、300 万行代码的开源项目
那有没有一款开源分布式数据库不仅可以处理海量数据，而且换起来比较轻松呢？ 部署一个 mini 模式实例 docker run -p 2881:2881 --name oceanbase-ce -e MINI_MODE=1 -d oceanbase/oceanbase-ce # 2. 2021 年 OceanBase 将 300 万行核心代码开源，供程序员们学习和共建。 2、版本号管理 为了支持数据读写不互斥，OceanBase 数据库存储了多个版本的数据。 值得一提的是，OceanBase 有一套严格的代码准入流程，如果你的代码能合并进 300 万行的开源项目，那绝对是一件值得自豪的事情！
49040编辑于 2023-11-01 - 来自专栏密码安全与管理
开源密码管理器更安全吗？（2）
在 密码管理器进化史(2/4) 一文中，我们详细讲解了第二代密码管理器使用现代密码学算法加密数据的方法。 常见密码管理器加密的关键步骤如下：图片master password, 用户设置的主密码，要求用户保密PBKDF2, Password-Based Key Derivation Function 2 把主密码转换成加密密钥 开源密码管理器提高了透明度，给有能力的用户机会审查开发者是否正确使用了加密算法。 有些基于云的密码管理器厂商提供了双因素登录验证(2 factors authentication)，第2个登录验证并不能用于加密数据，并非这里所说的解锁因素。 开源密码管理器提供了一定的透明性，但更重要的还是详细了解它的安全设计，能否把我们最关心的风险降到最低。----上一篇：开源密码管理器更安全吗？（1） - 隐秘的角落
1.7K10编辑于 2022-11-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号