当前位置: 首页>>hadoop 2.0之YARN>> 阅读正文

Hadoop YARN常见问题以及解决方案

Category: hadoop 2.0之YARN View: 8,297 Author: Dong
,

  • 评论 (4)
  • 引用通告 (1)
发表评论 发起引用

  • 1楼zhang 回复

    Post: 2013-12-12 02:34

    先申请资源在分配任务,还是先规划好任务知道申请多少资源,再去申请资源

    [回复]

    Dong 回复:

    先要规划好每个任务需要多少资源,再去申请,这个applicationmaster知道,用户提交作业的时候可以指定,但是有默认值,比如对于mapreduce而言,每个maptask和reduce task默认1024MB内存,1cpu

    [回复]

  • 2楼Z1 回复

    Post: 2014-04-14 08:31

    我想在hadoop2.2的基础上,添加一点小功能,这个功能类似于检测每个节点的’健康’。
    我是想检测每个NM是否‘可信’,然后在调度的时候去掉‘不可信’的节点。
    但是现在不知道如何修改,对涉及到那些代码,哪些类,不能够完全的确认。
    希望你能给我点建议。

    [回复]

  • 3楼跌宕风流 回复

    Post: 2014-11-26 09:29

    我们使用的是capacity scheduler。100多个节点的集群,当作业量在几十个的时候,经常会出现同一个节点有启好几个AM,导致该节点速度太慢。请问有没有方法可以防止同一个节点启动多个AM?

    [回复]

  • 4楼何必帅 回复

    Post: 2014-12-18 03:14

    董哥你好,我用为分布搭建的hadoop2开发环境,虚拟机分配的内存不足默认的最小内存,每个只有500M,但是mapreduce任务一样可以正常执行,这是为什么?

    [回复]

发表评论