当前位置: 首页>>hadoop 2.0之YARN>> 阅读正文

Hadoop 1.0与Hadoop 2.0资源管理方案对比

Category: hadoop 2.0之YARN View: 8,150 Author: Dong
, ,

  • 评论 (2)
  • 引用通告 (0)
发表评论 发起引用

  • 1楼wzqaustin 回复

    Post: 2013-08-13 05:49

    在某些情况下,槽位的动态修改还是挺有必要的。我们在hadoop 1.0中做了一个动态修改槽位的功能。有一个后台线程负责监视动态资源是否改变,如果有,则直接汇报给jobtracker。

    yarn中以实际资源做分配,不再区分map/reduce槽位,调度起来会复杂一些,回头有时间再看看代码。

    [回复]

    bryanxu 回复:

    调度中引入priority的维度,通过把M/R/AM请求分别映射到一个整数值,进而在调度器中按priority做调度

    [回复]

  • 2楼ssdutzs 回复

    Post: 2013-09-04 13:37

    您好,请问您一个问题,在hadoop1.0中,采用默认的FIFO策略进行调度,一个task只会占用一个slot?如果一个slot的资源不能满足的时候,会抢占其他slot的资源吗?如果是,采用什么样的策略抢占?

    [回复]

    Dong 回复:

    会抢占其他slot资源,抢占是操作系统层面的多线程/进程资源竞争,打个比方:你在一台机器上启动5个线程,期望每个线程占用同样的资源,但实际是做不到的,他们之间会相互竞争,Hadoop跟这种情况一样,1.X没有任何隔离机制,完全共享资源,抢占仅是操作系统层面进程之间资源的竞争。

    [回复]

    ssdutzs 回复:

    谢谢您的回答,我知道在Capacity Scheduler中一个task可以占用多个slot,那FIFO的调度模式会有一个task占有多个slot的情况吗?还有一个问题,您觉得现在研究hadoop的调度方法还有价值吗?哪些地方还需要改进?而且是不是应该在MPV2的基础上进行研究更有现实意义?谢谢您

    [回复]

    Dong 回复:

    FIFO不支持一个task对应多个slot。是在MRv2基础上研究更有价值,MRv1将被淘汰,调度模型存在严重问题。

    [回复]

    ssdutzs 回复:

    好的,非常感谢您的回复~有什么问题再向您请教

    [回复]

目前还没有任何Trackbacks和Pingbacks.
发表评论