当前位置: 首页>>hadoop 2.0之YARN>> 阅读正文

如何编写YARN应用程序

Category: hadoop 2.0之YARN View: 13,122 Author: Dong
, , ,

  • 评论 (6)
  • 引用通告 (1)
发表评论 发起引用

  • 1楼neo 回复

    Post: 2013-03-22 02:27

    根据文档描述:要基于YARN开发一个新的计算框架,只要实现客户端和ApplicationMaster。如果新框架想用C++实现可以吗?我看ApplicationMaster和ResourceMaster及NodeManager之间的通信都是通过Java封装好的RPC调用。如果用C++实现,有开放的API调用吗?

    [回复]

    Dong 回复:

    现在不可以,如果用C++开发,你需要用JNI包一层,当前YARN RPC仍然不支持跨语言。
    当前最有名的一个C++ ApplicationMaste是Hamster(为支持MPI开发的,https://issues.apache.org/jira/browse/MAPREDUCE-2911),不过当前还未发布代码.

    [回复]

    Dong 回复:

    另外,正是由于Hamster这个项目,才导致java设计人员为JDK增加了一个C语言封装:http://comments.gmane.org/gmane.comp.jakarta.lucene.hadoop.devel/70734。

    [回复]

  • 2楼honv 回复

    Post: 2014-07-18 01:54

    “如果一段时间内(默认是10min),ResourceManager未收到ApplicationMaster信息,则认为它死掉了,会重新调度或者让其失败” 请问这里重新调度是Yarn自己做的,还是需要客户端代码来处理?

    [回复]

  • 3楼tx 回复

    Post: 2014-08-21 04:10

    大神,请教两个问题:
    1. ApplicationMaster和应用本身(比如Spark)的Master是不是功能有重合?
    2. 如果有重合的话,在YARN和Mesos上添加框架支持的时候是不是需要其本身也做改动,不只是写client和ApplicationMaster就行了?

    [回复]

  • 4楼Jacky 回复

    Post: 2014-09-11 07:06

    在介绍协议的时候,如:
    ClientRMProtocol(ClientResourceManager)
    这个应该是错误的吧,我在2.4.0上没有找到ClientRMProtocol,官网上说的是ApplicationClientProtocol?不知道你是故意这样写的还是?

    [回复]

  • 5楼summerhai 回复

    Post: 2014-09-26 04:23

    董神,我有一个困惑,如果我将一个用c++写成的算法,编译好之后用shell调用,那么该如何将这个shell封装到AppMaster里供Hadoop集群运行呢?或者说,您那里有没有类似于Hadoop1的WordCount这种简单明了的例子?谢谢。

    [回复]

  • 6楼black 回复

    Post: 2014-10-28 01:32

    董老师,您有关于hadoop2.X版本的新书吗?

    [回复]

发表评论