RMContainer是ResourceManager中用于维护一个Container生命周期的数据结构,它的实现是RMContainerImpl,该类维护了一个Container状态机,记录了一个Container可能存在的各个状态以及导致状态间转换的事件,当某个事件发生时,RMContainerImpl会根据实际情况进行Container状态转移,同时触发一个行为。

如图所示,在RM看来,每个Container有9种基本状态(RMContainerState)和8种导致这9种状态之间发生转移的事件(RMContainerEventType),RMContainerImpl的作用是等待接收其他对象发出的RMContainerEventType类型的事件,然后根据当前状态和事件类型,将当前状态转移到另外一种状态,同时触发另外一种行为(实际上执行一个函数,该函数可能会再次发出一种其他类型的事件)。下面具体进行介绍:

基本状态

  • NEW

状态机初始状态,每个Container对应一个状态机,而每个状态机的初始状态为NEW。

  • RESERVED

当一个节点上的资源不予以满足一个Application的container的要求时,YARN会让该节点为该container预留资源,直到剩余资源足以满足container需求。Container处于资源得到不到满足状态即为RESERVED。

  • ALLOCATED

当资源调度器将一个Container分配给一个Application时,该Container处于ALLOCATED状态。(注意,此时ApplicationMaster还未获取该Container。)

  • ACQUIRED

ApplicationMaster通过RPC函数AMRMProtocol.allocate()拉取分配给自己的Container,此时,这些Container将被置为ACQUIRED。

  • RUNNING

ApplicationMaster通过RPC函数AMRMProtocol.allocate()拉取分配给自己的Container后,在对应的NodeManager上启动这些Container,接着NodeManager通过心跳机制将这些Container状态汇报给ResourceManager,此时,ResourceManager将这些Container状态置为RUNNING。

  • RELEASED

ApplicationMaster通过RPC函数AMRMProtocol.allocate()向ResourceManager发送信息,要求它释放一些Container(可能是由于资源过剩或者内部的抢占机制要求释放一些Container),ResourceManager收到请求后将这些Container置为RELEASED。

  • COMPLETED

NodeManager通过RPC函数ResourceTracker.nodeHeartbeat()告诉ResourceManager运行完成的Container,而ResourceManager则将这些Container置为COMPLETED。

  • EXPIRED

ResourceManager将一个container分配给ApplicationMaster后,该ApplicationMaster在一定时间内没有启用该Container,则ResourceManager会回收该Container,即将Container状态置为EXPIRED。

  • KILLED

ApplicationMaster启动失败、被杀死或者运行过程中崩溃,ResourceManager会将该Application所有正在运行的Container置为KILLED状态。

基本事件

  • START

当资源调度器将一个container分配给某个Application后,ResourceManager向RMContainerImpl发送一个START事件。

  • RESERVED

当资源管理器发现某个节点上的资源不足以满足一个container基本需求时,ResourceManager会向RMContainerImpl发送一个RESERVED事件。

  • ACQUIRED

ApplicationMaster通过RPC函数AMRMProtocol.allocate()拉取分配给自己的Container时,ResourceManager会向RMContainerImpl发送一个ACQUIRED事件。

  • LAUNCHED

ApplicationMaster通过RPC函数AMRMProtocol.allocate()拉取分配给自己的Container后,在对应的NodeManager上启动这些Container,接着NodeManager通过心跳机制将这些Container状态汇报给ResourceManager,ResourceManager收到后会为每个container发出一个LAUNCHED事件。

  • FINISHED

NodeManager通过心跳机制告诉ResourceManager哪些Container运行完成了,ResourceManager收到后会为每个container发出一个FINISHED事件。

  • RELEASED

ApplicationMaster因为某种原因(资源过剩或者内部的抢占机制要求释放一些Container)需要释放一些Container,则它通过RPC函数AMRMProtocol.allocate()告诉ResourceManager,而ResourceManager会为每个container发出一个RELEASED事件。

  • KILL

ApplicationMaster启动失败、被杀死或者运行过程中崩溃时,ResourceManager会发出一个KILL事件。

  • EXPIRE

ResourceManager将一个container分配给ApplicationMaster后,该ApplicationMaster在一定时间内没有启用该Container,则ResourceManager会为该container发出一个EXPIRE事件。

下图描述了以上各个事件的来源:

原创文章,转载请注明: 转载自董的博客

本文链接地址: YARN/MRv2 Resource Manager深入剖析—RMContainer状态机分析

微信公众号:hadoop-123,专注于大数据技术分享,欢迎加入!

说点什么

avatar
  Subscribe  
提醒