当前位置: 首页>>hadoop 2.0之YARN>> 阅读正文

Hadoop YARN中内存和CPU两种资源的调度和隔离

Category: hadoop 2.0之YARN View: 14,714 Author: Dong
, ,

  • 评论 (4)
  • 引用通告 (5)
发表评论 发起引用

  • 1楼daisy 回复

    Post: 2013-11-14 14:31

    您好,为什么我设置了yarn.scheduler.minimum-allocation-mb和yarn.scheduler.maximum-allocation-mb两参数后,系统只按照前者分配Container可使用的内存,当使用的内存量超过该最小值但不大于这个最大值的时候就报OOM的错误呢?

    [回复]

    Dong 回复:

    这两个参数不是你说的这个意思,这两个参数是管理员用来设置用户能够设置的每个任务可申请的最小和最大内存资源。具体每个任务到底申请多少,由各个应用程序单独设置,如果是mapreduce程序,可以map task申请的资源可通过mapreduce.map.memory.mb指定,reduce task的资源可通过mapreduce.reduce.memory.mb指定,这两个参数最大不能超过yarn.scheduler.maximum-allocation-mb。

    [回复]

    daisy 回复:

    到Hadoop2.x的版本里还区别map task和reduce task吗?不是只有Container的概念了,资源按Container来分配?您所说的mapreduce.map(reduce).memory.mb会被调度器认为是最大资源是最小需分配的资源?

    [回复]

    Dong 回复:

    有的,mapreduce属于hadoop 2.x的内核,mapreduce是运行在yarn之上的一个应用,mapreduce有没去掉。

    [回复]

  • 2楼ls 回复

    Post: 2013-11-15 05:12

    【举个例子,很多任务可能是IO密集型的,消耗的内存资源非常少】该是【消耗的CPU资源非常少】吧:)

    [回复]

    Dong 回复:

    改过来了,呵呵,多谢。

    [回复]

  • 3楼june 回复

    Post: 2013-11-15 15:01

    感谢分享,不错~

    [回复]

    june 回复:

    突然发现博主的server时区不对。。。不会都是国外的 vps 吧。。。

    [回复]

    Dong 回复:

    国外的服务器。

    [回复]

  • 4楼徐徐的 回复

    Post: 2013-12-31 02:45

    文中这段话有误,可能是排版编辑的错误:

    (2)yarn.nodemanager.vmem-pmem-ratio
    任务每使用1MB物理内存,最多可使用虚拟内存量,默认是2.1。
    (3) yarn.nodemanager.pmem-check-enabled
    是否启动一个线程检查每个任务正使用的物理内存量,如果任务超出分配值,则直接将其杀掉,默认是true。
    (4) yarn.nodemanager.vmem-pmem-ratio
    是否启动一个线程检查每个任务正使用的虚拟内存量,如果任务超出分配值,则直接将其杀掉,默认是true。

    [回复]

    徐徐的 回复:

    应该是
    【(4) yarn.nodemanager.vmem-check-enabled
    是否检查任务正在使用的虚拟内存量】

    [回复]

    Dong 回复:

    已改,谢谢!

    [回复]

发表评论