当前位置: 首页>>hadoop 2.0之YARN>> 阅读正文

YARN/MRv2 Node Manager深入剖析—整体架构

Category: hadoop 2.0之YARN View: 13,050 Author: Dong
, , , ,

  • 评论 (2)
  • 引用通告 (0)
发表评论 发起引用

  • 1楼neo 回复

    Post: 2013-03-25 03:34

    ApplicationMaster需要知道每个Counter的运行状况才能管理这些Counter。那请问ApplicationMaster是从ResourceManager来获取到每个Counter的运行状况呢?还是ApplicationMaster直接从每个NodeManager获取每个Counter的运行状况?

    [回复]

    Dong 回复:

    以Mapreduce为例,它的每个Task会定期(向对应的ApplicationMaster)汇报各个counter值,由ApplicationMaster进行汇总和展示。

    [回复]

    neo 回复:

    请问那是不是写Task任务时,需要自己写代码汇报counter信息?还是框架自己会完成汇报工作?它们是通过哪个协议来汇报的啊?
    我看了你所有的博客文档,好像没有牵涉到这一块。

    [回复]

  • 2楼Dong 回复

    Post: 2013-03-25 08:39

    不需要,除非你自己写了一个计算框架。 在MapReduce中,由两种counter:系统counter和用户自定义counter。 如果使用MapReduce计算框架,则用户只需要编写几个简单的函数,比如map()或者reduce()等,用户可以在这些函数中定义自己的counter,但只负责这些counter的加减操作,具体counter的统计和传输均不需要用户做,由框架封装好了。 如果你想自己写一个计算框架,也需要这么做,把最简单的操作留给用户,复杂的封装好,不要暴露给用户。

    [回复]

    nkbaob 回复:

    您好,看了您的文章大受启发,获益良多,最近在看Llama, impala on yarn,请问您对这个有一些研究吗

    [回复]

目前还没有任何Trackbacks和Pingbacks.
发表评论