当前位置: 首页>>hadoop 2.0之YARN>> 阅读正文

Hadoop YARN配置参数剖析(4)—Fair Scheduler相关参数

Category: hadoop 2.0之YARN View: 17,235 Author: Dong
, , ,

  • 评论 (4)
  • 引用通告 (2)
发表评论 发起引用

  • 1楼一步一脚印 回复

    Post: 2013-12-02 07:17

    你好,请教个问题,当用户通过mapreduce.job.queuename参数指定作业队列启动作业,若该队列不存在,Fair Scheduler会自动创建一个该队列,如何禁止此项操作?否则关于其他队列的配置就没有意义了,谢谢!

    [回复]

    Dong 回复:

    这个没法禁掉,这是fair scheduler长期存在的一个问题,目前不能控制,我们自己改了代码修复了这个问题。另外,capacity scheduler不存在这个问题。

    [回复]

    一步一脚印 回复:

    明白了,非常感谢。你的2本大作,我都已购买,收益匪浅!

    [回复]

    一步一脚印 回复:

    我用的2.2.0版本,本来打算修改下FairScheduler的源码,看了后,发现这个是有开关的,只是可能没在官方文档公布,这个开关默认打开,通过配置参数allow-undeclared-pools,该功能可关闭。

    [回复]

    Dong 回复:

    嗯,这个没注意,是2.2.0新加的。

    [回复]

    lanbo 回复:

    在新版本里解决这个问题了,yarn.scheduler.fair.allow-undeclared-pools 参数即可

    [回复]

  • 2楼dg 回复

    Post: 2014-05-23 07:15

    1.0 是表什么啥意思

    [回复]

  • 3楼llcode 回复

    Post: 2014-07-01 16:50

    你好,请教个问题:
    1、fair-scheduler.xml中的weight的作用是什么?怎么样能测出来weight的作用?
    2、使用fair调度策略,会不会出现负载不均衡的现象?网上说:默认批处理会出现负载不均衡,但每次都是均衡的, 涉及到yarn.scheduler.fair.max.assign 和yarn.scheduler.assignmultiple 两个配置项。这块到底是什么样的?

    [回复]

    Dong 回复:

    (1) weight主要用在资源共享之时,weight越大,拿到的资源越多。比如一个pool中有20GB内存用不了,这时候可以共享给其他pool,其他每个pool拿多少,就是由权重决定的
    (2)fair也会出现,均衡不均衡是相对的,只不多这两个参数可以缓解。

    [回复]

  • 4楼robin 回复

    Post: 2015-01-28 01:55

    请问这个具体怎么使用啊?我配置了这些之后发现老是使用的是默认的队列,而没有使用我设置的队列。

    [回复]

发表评论