当前位置: 首页>>Hadoop HDFS>> 阅读正文

HDFS HA和Federation安装部署方法

Category: Hadoop HDFS View: 7,634 Author: Dong
, , ,

  • 评论 (4)
  • 引用通告 (0)
发表评论 发起引用

  • 1楼Nero 回复

    Post: 2014-09-24 06:09

    您好,董老师:
    请教您个问题,Hadoop Yarn这个架构版本中,ResourceManger可以设置多个么(>=2个)
    如果不行那是否,在Yarn这一版中主要就是使用ApplicationMaster来分摊部分ResourceManger的工作?
    是上面这种情况的话,那是不是也相当于做到了 多个(>=2)NameNode的效果

    [回复]

  • 2楼siri 回复

    Post: 2014-11-13 14:13

    在部署HA+ Federation时遇到一个问题,在启动NameNode后,发现有一部分机器挂在了NN1上,有一部分机器挂在了NN2上,每天次启动DataNode后,机器数量随机分布,HDFS无法访问。请问是什么原因?

    [回复]

  • 3楼ruccsbingo 回复

    Post: 2015-01-11 10:09

    您好,

    hadoop 2.4.0 配置 hadoop HA + Federation 出现错误
    操作步骤如下:
    步骤1:在各个JournalNode节点上,输入以下命令启动journalnode服务:

    sbin/hadoop-daemon.sh start journalnode

    步骤2:在[nn1]上,对其进行格式化,并启动:

    bin/hdfs namenode –format -clusterId hadoop-cluster

    sbin/hadoop-daemon.sh start namenode

    步骤3:在[nn2]上,同步nn1的元数据信息:

    bin/hdfs namenode -bootstrapStandby

    步骤4:在[nn2],启动NameNode:

    sbin/hadoop-daemon.sh start namenode

    (经过以上四步操作,nn1和nn2均处理standby状态)

    步骤5:在[nn1]上,将NameNode切换为Active

    bin/hdfs haadmin -ns hadoop-cluster1 -transitionToActive nn1

    在第五步是抛出异常。

    查看log,说是
    2015-01-11 08:29:51,497 WARN org.apache.hadoop.hdfs.server.namenode.FSEditLog: Unable to determine input streams from QJM to [172.16.1.25:8485, 172.16.1.28:8485, 172.16.1.35:8485]. Skipping.
    org.apache.hadoop.hdfs.qjournal.client.QuorumException: Got too many exceptions to achieve quorum size 2/3. 3 exceptions thrown:
    172.16.1.25:8485: Journal Storage Directory /home/hadoop/hdfs/journal/hadoop-cluster1 not formatted

    现在不明白为什么会出现这个错误,每一步都是按照教程做的。
    求指点一二。

    [回复]

  • 4楼leoyer 回复

    Post: 2015-07-02 12:49

    你好:
    我学习hadoop是看你的教程入门的,现在我遇到一个问题,hadoop的namenode做了HA配置,我应该在Hbase中如何将这2个hdfs都配置进去。
    其实我现在遇到的问题就是,hbase的配置文件只配置了一个hdfs地址;当hadoop的主namenode挂掉切换到备用的namenode时hbase还是连接在主的hdfs地址上,无法读写数据。 另外一个热备的hdfs地址应该如何配置?

    fs.defaultFS
    hdfs://cluster1

    [回复]

目前还没有任何Trackbacks和Pingbacks.
发表评论