当前位置: 首页>>hadoop 2.0之YARN>> 阅读正文

深入理解Hadoop YARN中的Container概念

Category: hadoop 2.0之YARN View: 14,246 Author: Dong
, ,

  • 评论 (5)
  • 引用通告 (0)
发表评论 发起引用

  • 1楼caodaoxi 回复

    Post: 2013-10-24 08:58

    你好,有个问题需要求教一下:
    我的hadoop集群每台机器内存是32g,我的yarn配置片段如下:

    yarn.nodemanager.resource.cpu-cores
    16

    yarn.nodemanager.resource.memory-mb
    28672

    yarn.scheduler.maximum-allocation-mb
    4096

    但是在跑任务的时候报java.lang.OutOfMemoryError: unable to create new native thread

    上面几个应该怎么配置,这些配置与内存的关系是什么啊

    [回复]

    Dong 回复:

    跟这几个参数没关系,任务占用内存由另外几个参数配置,可参考1.0中的参数,是兼容的。

    [回复]

    caodaoxi 回复:

    你好,我使用差不多2t的数据在四台机器上跑,每台机器都是lxc出来的虚拟机,内存32G,但是运行的过程中任务失败的非常多,.出现各种问题.不知怎么去调整各种参数,有什么调整原则?

    [回复]

    Dong 回复:

    失败原因是什么,找到原因解决问题。问题都不知道,怎么调参数。

    [回复]

    caodaoxi 回复:

    求教一下,hadoop使用yarn过程中需要配置核心配置参数该怎么配?

    [回复]

    Dong 回复:

    你这个问题太宽泛了,不知道怎么回答?怎么配置还是配置哪些参数?
    怎么配:在yarn-site.xml中配
    配置哪些参数:可阅读官方文档介绍:http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-common/ClusterSetup.html

    [回复]

  • 2楼cnmpeach 回复

    Post: 2014-05-28 03:04

    董老师,
    你好,阅读你的文章,收获良多,首先表示感谢
    我有一个关于container的问题希望不吝赐教。从抽象的角度讲,container把任务运行的资源封装成为了一个对象,成为对象就有了一系列其它的属性和操作,这样对丰富系统通信过程的内容是有很大好处的。但是我们也必须看到,任务到具体的节点上运行的时候,container限制了一个任务在节点上的资源使用量,可是JVM在运行这个任务的时候,如何能够按照container限制的资源量加载类,变量,以及方法。再准确一些说,JVM如何控制一个任务对栈,堆的使用。一般而言,如果内存足够大,一个程序运行的时候,需要的内存页面肯定是一下就能分配够的,如果内存不够大,通过页替换机制,会腾出空间给任务,但不管大或者小,这里的内存实际分配似乎并不属于hadoop,而属于JVM。因此,我的问题是,hadoop如何从任务运行一开始,就保证它听话的运行在限制的堆栈空间内?

    [回复]

    Dong 回复:

    hadoop无法保证这个,尤其是非java程序,更不能保证。 hadoop可以借助cgroups等linux kernal中的隔离方案完成这件事,而且已经支持了

    [回复]

  • 3楼tom_fans 回复

    Post: 2014-06-16 09:09

    通过一个任务在一个node上会有几个container? 或者说怎么分配的? 我通常发现每个node有5个左右的container

    [回复]

  • 4楼yts 回复

    Post: 2014-12-03 02:20

    董老师,请教一下关于Yarn中Container的问题,由于Container是一个作业动态的资源表示模式,那在Yarn中,如何描述资源使用量这个概念,例如:一个作业队列的资源量限制如何表示

    [回复]

  • 5楼dexter 回复

    Post: 2015-05-12 15:22

    董老师,我想问一下,一个集群的最大Container数是怎么样计算出来的。有没有相关的文章。

    [回复]

目前还没有任何Trackbacks和Pingbacks.
发表评论