当前位置: 首页>>hadoop 2.0之YARN>> 阅读正文

YARN/MRv2 Node Manager深入剖析—Container启动过程分析

Category: hadoop 2.0之YARN View: 10,283 Author: Dong
, , , ,

  • 评论 (2)
  • 引用通告 (0)
发表评论 发起引用

  • 1楼实习生 回复

    Post: 2013-08-08 05:38

    董老师你好,关于Container的创建有个不明白的地方,假如调度器觉得在节点A上分派2G内存的container给AM使用。那么RM需要给NM什么信息,保证AM可以正确的使用这个两G的容器?
    本来以为容器的创建是由RM负载(RM发消息给NM创建好指定大小容器,并协商使用口令,等待AM使用),现在看介绍是由AM负责创建,那怎么保证AM不会创建3G的资源等呢?

    [回复]

    cnmpeach 回复:

    container是node manager创建的。RM需要告诉AM 以下信息, 跟哪个NM联系,申请的container ID,APP ID,资源量,安全信息。这些封装起来发给AM, AM拿着这些信息通过RPC找对应的NM,NM按照对应信息在本地创建container,初始化,启动container,同时还要监控contianer,最终在初始化的工作空间里运行代码,把结果写HDFS中。这中间伴随着container状态的变化,会产生一系列事件,各种事件会驱动不同的服务完成相应的功能。创建系统进程时候的最终资源分配及限制,是操作系统的事情。

    [回复]

  • 2楼hoho 回复

    Post: 2015-05-06 01:21

    是不是可以理解,并没有安全机制去阻止AM乱申请资源?AM只要知道去哪儿有资源可以用就行了,申请多少只能靠AM的自觉了

    [回复]

目前还没有任何Trackbacks和Pingbacks.
发表评论