本文汇总了目前正在进行中的一些尝试将系统运行在YARN上的项目,这些项目涉及分布式领域各个方面的系统,包括离线处理、在线计算、图算法、迭代式算法等,从这些项目可以看出来,在将来,YARN将变成一个轻量级的IAAS层,统一管理和调度各种系统,进而逐步实现所谓的“大集群理念”。

  1. MapReduce On YARN:YARN天生支持,目前已非常完善(从YARN将要发布2.1.0-beta版可看出,较之前版本,这一块基本没有修改)
  2. Tez On YARN:一个DAG计算框架,直接修改自MapReduce,继承了MapReduce的扩展性好和容错性好等优点,https://issues.apache.org/jira/browse/TEZ
  3. Storm On YARN:https://github.com/yahoo/storm-yarn ,项目状态:开发进行中,已发布一个版本
  4. Spark On YARN:https://github.com/tweetmagik/spark-yarn ,项目状态:已可用
  5. BSP On YARN:https://github.com/jpatanooga/KnittingBoar ,项目状态:发布一个实验版本
  6. HBase On YARN:https://issues.apache.org/jira/browse/HBASE-4329,项目状态:进行中
  7. Kafka On YARN:https://github.com/kkasravi/kafka-yarn,项目状态:进行中
  8. Giraph On YARN:https://issues.apache.org/jira/browse/GIRAPH-13 ,项目状态:进行中
  9. MPI on YARN:https://issues.apache.org/jira/browse/MAPREDUCE-2911  ,,项目状态:进行中

直接在YARN上编写和管理应用程序是比较麻烦的,因此在这两方面,也有一些项目在进行中:

  1. YARN Application Management:http://continuuity.github.io/weave/ ,项目状态:已可用
  2. Write application on YARN:https://github.com/cloudera/kitten ,项目状态:已可用

原创文章,转载请注明: 转载自董的博客

本文链接地址: 汇总运行在Hadoop YARN上的开源系统

微信公众号:hadoop-123,专注于大数据技术分享,欢迎加入!

说点什么

avatar
  Subscribe  
提醒