Hadoop jira链接:https://issues.apache.org/jira/browse/YARN-378
所属范围(新特性、改进、优化或Bug):改进
修复版本:2.1.0-beta及以上版本
所属分支(Common、HDFS、YARN或MapReduce):YARN
涉及模块:client, resourcemanager
英文标题:“ApplicationMaster retry times should be set by Client”

1.  背景介绍

在Hadoop分支YARN中,当用户提交应用程序后(提交到ResourceManager上),ResourceManager首先要做的是为该应用程序申请资源以启动它的ApplicationMaster,而ApplicationMaster启动后,它(ApplicationMaster)负责应用程序内部任务的分解,监控、容错等。对于每个应用程序,由于只有一个ApplicationMaster,因此ApplicationMaster存在单点故障问题,一旦ApplicationMaster死掉,则整个应用程序可能会运行失败。当ResourceManager探测到ApplicationMaster运行失败(通过心跳超时机制)后,它会尝试在另外一个节点上重新启动该ApplicationMaster,通常而言,ApplicationMaster重启后,会恢复之前的运行状态(前提是ApplicationMaster上次死掉之前会记录一些日志在HDFS上),当然,这是ApplicationMaster自己的事情,ResourceManager无权干涉,ResourceManager要做的只是发现ApplicationMaster死亡后,重新为它申请资源在另外一个节点上启动。而本文介绍的这个特性则是如何指定每个应用程序ApplicationMaster的重试次数。

在2.1.0-beta版本之前,所有应用程序的ApplicationMaster重试次数是均是由ResourceManager决定的,管理员可通过配置参数yarn.resourcemanager.am.max-retries配置每个ApplicationMaster的重试次数,这个配置参数值适用于所有的应用程序,不可单独对单个应用程序定制化,而这个改进正是为了解决这个问题。

2. 解决思路

首先需要明确的是,这个改进的目的是,让用户可以为自己的应用程序定制ApplicationMaster的重试次数。

其次,这个重试次数将被两个组件用到,分别是ResourceManager和ApplicationMaster,其中ResourceManager用于决定,是否对失败的ApplicationMaster进行重试;ApplicationMaster用于决定,是否需要恢复上次运行时的状态(从第二次开始恢复),以从断点开始计算。

通常而言,有点经验的人,可能认为可以这样解决问题:将用户设置的值放到Configuration中,通过job.xml传递到ResourceManager和ApplicationMaster上,这样改动是最小的。但是很遗憾,客户端传递的job.xml只有ApplicationMaster会读取,而ResourceManager不会。

YARN 2.1.0-beta版本的解决方案如下:

(1) 客户端设置重试次数后,该值将被写入ProtocolBuffer对象ApplicationSubmissionContextProto中的新增字段maxAppAttempts中(在hadoop-yarn-project/hadoop-yarn/hadoop-yarn-api/src/main/proto/yarn_protos.proto中定义);

(2) 客户端提交应用程序后,maxAppAttempts值会通过RPC函数传递给ResourceManager;

(3)ResourceManager判断maxAppAttempts是否为0,如果为0,则改为ResourceManager内部已经设置好全局值,由属性arn.resourcemanager.am.max-attempts指定,默认为1;

(4)ResourceManager为ApplicationMaster申请资源后,与对应的节点通信启动ApplicationMaster,启动之前,会将maxAppAttempts值通过环境变量“MAX_APP_ATTEMPTS”传递给它

(5) ApplicationMaster在main函数中读取环境变量MAX_APP_ATTEMPTS,然后开始执行。

这样,各个应用程序可根据实际需要单独向用户提供可配置AM尝试次数的参数,比如MapReduce的参数是mapreduce.am.max-attempts,用户设置了该参数后,参数值会经过以上5个步骤进行传递。

3.  我们学到了什么

(1)善用环境变量传递信息,环境变量可由父进程传递给子进程;

(2)在YARN中,代码改动通常是链式的,也就是说,需要依次改动几个组件,比如该例子中,需要一次改动client、ResourceManager和ApplicationMaster的代码,改动代码之前,要规划好修改方案和估算好代码的改动幅度;

(3)当需要添加一种新的ApplicationMaster相关的可配置参数时,可仿照这个jira实现完成,比如,假设让ApplicationMaster支持多种容错机制(现在不支持),其中一种是ApplicationMaster死掉后,尽量尝试在原节点重启(通常,ApplicationMaster中运行的是服务时,需要这么做),而这样改动之后,需要用户指定应用程序采用的容错机制类别。

原创文章,转载请注明: 转载自董的博客

本文链接地址: Hadoop 新特性、改进、优化和Bug分析系列1:YARN-378

微信公众号:hadoop-123,专注于大数据技术分享,欢迎加入!

说点什么

avatar
  Subscribe  
提醒