RMNode是ResourceManager中用于维护一个节点生命周期的数据结构,它的实现是RMNodeImpl,该类维护了一个节点状态机,记录了节点可能存在的各个状态以及导致状态间转换的事件,当某个事件发生时,RMNodeImpl会根据实际情况进行节点状态转移,同时触发一个行为。

如图所示,在RM看来,每个节点有6种基本状态(NodeState)和8种导致这6种状态之间发生转移的事件(RMNodeEventType),RMNodeImpl的作用是等待接收其他对象发出的RMNodeEventType类型的事件,然后根据当前状态和事件类型,将当前状态转移到另外一种状态,同时触发另外一种行为(实际上执行一个函数,该函数可能会再次发出一种其他类型的事件)。下面具体进行介绍:

基本状态

  • NEW

状态机初始状态,每个NodeManager对应一个状态机,而每个状态机的初始状态则为NEW。

  • RUNNING

NodeManager启动后,会通过RPC函数ResourceTracker.registerNodeManager()向RM注册,此时NodeManager会进入RUNNING状态。

  • DECOMMSIONED

如果一个节点位于exlude list中,则对应的NodeManager将处于DECOMMSIONED状态,这样的NodeManager无法与RM取得连接。

  • UNHEALTHY

管理员可在每个NodeManager上配置一个健康状况监测脚本,NodeManager中有一个专门线程周期性执行该脚本,以判定NodeManager是否处于健康状态。NodeManager会通过心跳机制将脚本执行结果汇报给RM,如果NodeManager处于不健康状态下,则RM会将其状态置为UNHEALTHY。

  • LOST

如果一个NodeManager在一定时间间隔内未汇报心跳信息,则RM认为它死掉了,会将其置为LOST状态。

  • REBOOTED

如果RM发现NodeManager的心跳ID处于不连续状态,则会将其置为REBOOTED状态,已要求它重新启动。

基本事件

  • STARTED

NodeManager启动后,会通过RPC函数ResourceTracker.registerNodeManager()向RM注册,此时会触发STARTED事件。

  • STATUS_UPDATE

NM向RM汇报心跳信息时,会触发一个STATUS_UPDATE事件。

  • DECOMMISSION

当一个NodeManager被转入exlude list中时,会触发一个DECOMMISSION事件。

  • EXPIRE

如果一个NodeManager在一定时间间隔内未汇报心跳,则会触发一个EXPIRE时间。

  • REBOOTING

当RM发现NodeManager的心跳ID处于不连续状态时,会触发一个REBOOTING事件。

  • CLEANUP_APP

当一个Application执行完成时(可能成功或则失败),会触发一个CLEANUP_APP事件,以清理Application。

  • CLEANUP_CONTAINER

当一个Container执行完成时(可能成功或则失败),会触发一个CLEANUP_ CONTAINER事件,以清理Container。

  • RECONNECTED

如果一个已经在RM上注册过的ApplicationMaster再次请求注册时,则RM会触发一个RECONNECTED,清理该ApplicationMaster后以要其它重新注册。

下图描述了以上各个事件的来源:

原创文章,转载请注明: 转载自董的博客

本文链接地址: YARN/MRv2 Resource Manager深入剖析—RMNode状态机分析

微信公众号:hadoop-123,专注于大数据技术分享,欢迎加入!

说点什么

avatar
  Subscribe  
提醒