当前位置: 首页>>hadoop 2.0之YARN>> 阅读正文

YARN编程实例—distributedshell源码分析

Category: hadoop 2.0之YARN View: 9,900 Author: Dong
, , , ,

  • 评论 (4)
  • 引用通告 (0)
发表评论 发起引用

  • 1楼实习生 回复

    Post: 2013-05-06 12:04

    谢谢董哥,结合dustributedshell的源代码看了,很有收获。

    [回复]

  • 2楼yexiaojiang 回复

    Post: 2013-11-13 07:47

    谢谢!

    [回复]

  • 3楼Carl 回复

    Post: 2013-11-21 08:16

    请教博主,Container的运行与监控,以及任务的运行与监控,是AM直接与Container进行交互,还是AM与NM进行交互,由NM与Container进行沟通? 能不能详细介绍下AM,NM,Container之间的交互关系?

    [回复]

    Dong 回复:

    AM直接与task交互,也可以通过NM查询Container状态,都是OK的。在MapReduce实现中,MapReduce AppMaster可以直接与运行在container中的task交互,获取他们的进度,当然,默认情况下,YARN提供了AppMaster直接与NM交互的接口,可以查询container状态。

    [回复]

    Carl 回复:

    哦,那是可以理解为AMTask, AMNMContainer这样是正常的交互关系。
    跟进一问:在《MapReduce NextGen Architecture》文档中,提到:”NM dead – the RM notices that the NM has timed out, informs all AMs who had live Containers on that node during their next interaction. ” 我试图将RM的两块功能ASM与S划分开来,我理解是:ASM与AM心跳,S与NM心跳,NM的超时应该是S检测到的,它会通知ASM让它通知AM么?或者说ASM、S和AM、NM之间的关系如何梳理?多谢

    [回复]

    Dong 回复:

    你说的差不多正确了,ASM负责管理和监控AM,S只负责资源调度,不负责监控之类的。详细流程可关注我的新书,还有不到2个月就可以买到了,现在预订。具体可登陆hadoop123.com

    [回复]

    Carl 回复:

    OK,多谢

    [回复]

  • 4楼小疯子 回复

    Post: 2013-12-12 09:57

    如果我想实现Job的并行调度,有什么方案?使用distributedshell为例改写可以吗?

    [回复]

目前还没有任何Trackbacks和Pingbacks.
发表评论