Apache Twill(http://twill.apache.org/index.html)这个项目则是为简化YARN上应用程序开发而成立的项目,该项目把与YARN相关的重复性的工作封装成库,使得用户可以专注于自己的应用程序逻辑 Twill应用程序运行在YARN上的流程跟普通程序一样,流程图下: ? 随着YARN越来越成熟,它必将成为一个基础核心系统,届时与Apache Twill类似的项目显得尤为重要。 转载自董的博客:http://dongxicheng.org/mapreduce-nextgen/apache-twill-for-yarn/ twill官方demo,可以参看:https://github.com /apache/twill/tree/master/twill-examples
这个也不是我一个人觉得,现在Apache的twill,以及Hulu他们开发的时候Adaptor那一层,其实都是为了解决这个问题。 那为什么我没有用Twill呢,第一是文档实在太少,第二是有点复杂,我不需要这么复杂的东西。我觉得,Twill与其开发这么多功能,真的不如好好写写文档。
同类型的软件还有:Apache Twill和 Apache Helix。
PredictionIO:用于管理和部署生产就绪预测服务的机器学习服务器 Sentry:在Apache Hadoop中对数据和元数据实施细粒度授权的系统 Tajo:一个基于Hadoop的大数据仓库系统 Twill
这次进Attic的项目里,和Hadoop相关的有一堆,比如说Apex,Chukwa,Crunch,Eagle,Falcon,Hama,Tajo,Twill,Metron,Sentry等等。
Scapy 和 Twill 是很有利助手。 脚本(常规及特定应用程序) 在大多数 Linux 安装中默认包括 Python 。
优雅,简单,人性化的 HTTP 库 HTTPie: 人性化的类似 cURL 命令行的 HTTP 客户端 ProxMon: 处理代理日志和报告发现的问题 WSMap: 寻找 Web 服务器和发现文件 Twill
Requests :一个简单友好的HTTP库 l HTTPie :有好的类cURL命令行HTTP客户端 l ProxMon :处理代理日志,报告发现的问题 l WSMap :寻找Web服务节点,扫描文件 l Twill
Scapy和 Twill是很有利助手。 脚本(常规及特定应用程序) 在大多数 Linux安装中默认包括 Python 。
XML、HTML处理库,类似于Requests HTTPie:人性化的类似 cURL 命令行的 HTTP 客户端 ProxMon:处理代理日志和报告发现的问题 WSMap:寻找 Web 服务器和发现文件 Twill
XML、HTML处理库,类似于Requests HTTPie:人性化的类似 cURL 命令行的 HTTP 客户端 ProxMon:处理代理日志和报告发现的问题 WSMap:寻找 Web 服务器和发现文件 Twill
Apache Twill 这个项目则是为简化 Yarn 上应用程序开发而成立的项目,该项目把与 Yarn 相关的重复性的工作封装成库,使得用户可以专注于自己的应用程序逻辑,最后通过一个简单的 helloworld
流处理框架,也可用于YARN; Apache Samza :基于Kafka和YARN的流处理框架; Apache Tez :基于YARN,用于执行任务中的复杂DAG(有向无环图); Apache Twill
processes proxy logs and reports discovered issues WSMap: find web service endpoints and discovery files Twill
您可以查阅 Apache Twill,它旨在简化 YARN 之上的分布式应用程序的编写。
流处理框架,也可用于YARN; Apache Samza :基于Kafka和YARN的流处理框架; Apache Tez :基于YARN,用于执行任务中的复杂DAG(有向无环图); Apache Twill
Twitter流处理框架,也可用于YARN; Apache Samza:基于Kafka和YARN的流处理框架; Apache Tez:基于YARN,用于执行任务中的复杂DAG(有向无环图); Apache Twill