当前位置: 首页>>hadoop 2.0之YARN>> 阅读正文

YARN/MRv2 ResourceManager代码结构分析

Category: hadoop 2.0之YARN View: 8,381 Author: Dong
, , , , ,

  • 评论 (2)
  • 引用通告 (0)
发表评论 发起引用

  • 1楼ye 回复

    Post: 2012-05-21 09:55

    大牛啊

    [回复]

  • 2楼海豚 回复

    Post: 2013-06-20 02:54

    您好,一直在看你的博客,非常受益。想请教你问题。我们最近在用yarn-2.0.4版本做实验。发现两个结点的集群(1个主,1个从)运行程序没有问题。如果是3个结点的集群(1个主,2个从),发现的问题是:总是一开始所有map都分配在同一个从结点上,然后分配在这个从结点上的map总是失败(失败显示connection failed),map就被分到另一个结点上。最后运行成功。检查过防火墙等都没有问题(肯定不是网络的问题)。
    用虚拟机搭建过4个结点的(1个主,3个从),发现也是一开始所有map都分到同一个结点,failed后,所有map就都分到其他结点上去了(一开始分配的那个结点上没有一个map了)

    现在还没有找到原因,不知道你有碰到过这类问题吗,谢谢。

    [回复]

    海豚 回复:

    我们运行同一个程序过多次,有时候运行程序成功,有时候就失败。
    失败log显示:
    org.apache.hadoop.mapred.YarnChild: Exception running child : java.net.ConnectException: Call From hadoop4/127.0.0.1 to hadoop4:40440 failed on connect ion exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

    根据提示,我们检查了网络,都没有问题。

    [回复]

    Shirley 回复:

    我也遇到了同样的问题,两个从节点只有一个可以成功运行,另个一报错YarnChild: Exception running child : java.net.ConnectException:… 你当时解决这个问题了吗?方便分享下吗?

    [回复]

    Dong 回复:

    我没遇到,应该不是Hadoop自身问题,是网络问题或者机器配置问题。

    [回复]

目前还没有任何Trackbacks和Pingbacks.
发表评论