当前位置: 首页>>hadoop 1.0>> 阅读正文

Hadoop的调度器总结

Category: hadoop 1.0 View: 26,255 Author: Dong
,

  • 评论 (12)
  • 引用通告 (0)
发表评论 发起引用

  • 1楼年五 回复

    Post: 2011-03-08 03:19

    对于技术性文章 年五只能顶了

    [回复]

  • 2楼jimmy 回复

    Post: 2011-05-19 09:31

    请问在挂载公平调度器的Hadoop的下(有配置资源池池),执行worldcound程序,他会产生数个地图与一个减少,是否有办法让这些地图或减少在指定的几台机器上执行呢?

    [回复]

  • 3楼jimmy 回复

    Post: 2011-05-19 09:33

    sorry,刚刚的发言有点小问题
    请问在挂载公平调度器的Hadoop的下(有配置资源池池),执行worldcound程序,他会产生数个map与一个reduce,是否有办法让这些map或reduce在指定的几台机器上执行呢?

    [回复]

    Dong 回复:

    现在的调度器没法做到,现在的调度器会首要考虑的原则是满足作业基本需求(如优先级高者调度,小作业先调度,多用户共享等)。实际上,map/reduce task分配到哪个机器上有点随机,调度器要考虑好几个因素,比如localiy,优先级(也许)等。如果想要让某些task在固定的机器上执行,可以根据你的具体需求设计相应的调度器。 关于你这个问题,很多人都有需求。如果你一定要完成这样的功能,可以把具体需求发给我。

    [回复]

  • 4楼sunupzhou 回复

    Post: 2012-06-18 05:16

    (1)如果该节点是快节点(节点得分高于SlowNodeThreshold),则忽略这个请求

    这个有点问题,LATE算法中是指该节点得分低于SlowNodeThreshold,才忽略该请求,因为该节点已经很慢了,所以拒绝新的任务到达

    [回复]

    Dong 回复:

    请参考:http://dongxicheng.org/mapreduce/hadoop-speculative-task/

    [回复]

    qiaoqing 回复:

    Ignore the request if the node’s total progress is below SlowNodeThreshold.
    这不就是得分低于SlowNodeThreshold时忽略请求吗?想不通

    [回复]

  • 5楼小虾米 回复

    Post: 2012-10-23 06:51

    Speculative Task是在哪个调度器里用的啊,与LATE调度有什么区别,又怎么去根据历史信息调整给阶段的运行时间所占的比例,为了让hadoop平台适合异构环境,是不是要去改hadoop的源代码啊?

    [回复]

    Dong 回复:

    参考:http://dongxicheng.org/mapreduce/hadoop-speculative-task/

    [回复]

  • 6楼dolphin 回复

    Post: 2013-11-07 02:56

    现在的2.1版本默认的是capacity调度器。为什么不用FIFO?我看了一些,fifo scheduler限制了每个container只能分配一个vcore,即使在配置文件中指定在container中分配多个vcore,最后还是只分配了一个,而capacity可以分配多个,fifo为什么要做这种限制呢?

    [回复]

    Dong 回复:

    FIFO调度器 体验很差,让初学者容易犯浑。Capacity Scheduler默认就是一个队列,相当于FIFO。以后有可能还会改回到FIFO。不仅是2.1,最新版本2.2.0,默认也是Capacity。

    [回复]

    dolphin 回复:

    请问什么叫做“体验很差”,就我自己看源代码来说,看fifo比看capacity要简单多了。capacity的代码更复杂。我想修改调度器,现在改了fifo,是正确的。但觉得要改capacity scheduler相对来说要难一些。

    [回复]

  • 7楼dolphin 回复

    Post: 2013-11-07 03:33

    您好,还有一个问题想问您。现在2.1版本中设置每个container分配的vcore数目,这个vcore数目和物理core是什么关系呢?比如我跑一个openmp程序,分配给每个map的vcore为2。那么运行时,我用top 1所看到的核运行情况(有几个核在接近100%的运行)和我设置的vcore数目是什么样的对应关系呢?谢谢

    [回复]

    Dong 回复:

    你问的这些问题,我博客里都有,好好看看,比如为什么采用capacity作为默认调度器,vcore是什么意思,与core对应关系是什么,http://dongxicheng.org/mapreduce-nextgen/yarnmrv2-resource-manager-resource-manager/

    [回复]

  • 8楼dolphin 回复

    Post: 2013-12-18 08:36

    您好,有个具体的问题想请教。我现在增加了resource,使用的fifoscheduler。想问问QueueMetrics.java这个文件用修改吗?因为我看到这个是fairscheduler会用到。是不是只是标记metric用,这个文件不改的话,会影响正确性吗?(相应的fifoscheduler和其他我已经修改过了,仅仅问这个)。谢谢

    [回复]

  • 9楼徐徐的 回复

    Post: 2014-03-02 13:46

    董老师,您好。我看了博客中的“Deadline Scheduler”相关的几篇论文,但是找不到任何可以实验/实践的例子。请问董老师怎么看这个“Deadline Scheduler”,该调度器在业界使用情况怎样,或者发展如何?要是能帮忙找到相关可操作的例子就更好了!

    [回复]

  • 10楼hadoop爱好者 回复

    Post: 2014-05-22 05:26

    董老师,你好。看了你的hadoop适用于异构集群的调度器LATE,想更深了解一下。有没有相关的算法代码。万分感激!

    [回复]

  • 11楼大章鱼 回复

    Post: 2014-12-04 12:09

    请问,Hadoop中的调度器同时完成了作Job和Task的调度吧?

    [回复]

  • 12楼岳怒扇 回复

    Post: 2015-04-11 13:45

    LATE调度算法是不是只用在了hadoop-0.21版本中,其它的hadoop版本,包括yarn中都没有了?

    [回复]

目前还没有任何Trackbacks和Pingbacks.
发表评论