当前位置: 首页>>hadoop 1.0>> 阅读正文

CDH中的JobTracker HA方案介绍

Category: hadoop 1.0 View: 13,902 Author: Dong
, , , ,

  • 评论 (13)
  • 引用通告 (2)
发表评论 发起引用

  • 1楼那闯 回复

    Post: 2013-03-15 03:48

    你好博主,我有两个问题想请教你,
    1. 我在配置Kerberos时,发现网上基本都用的CDH的HADOOP,普通Apache Hadoop
    配置Kerberos网上资料很少(我基本上什么都没找到),请问Apache Hadoop和
    CDH对Kerberos的支持是一样的吗?
    2. 我尝试了Apache Hadoop v2配置Kerberos,失败了(很有可能是没配对),
    请问apache Hadoop v2 支持Kerberos吗?

    [回复]

  • 2楼Dong 回复

    Post: 2013-03-15 05:02

    1. 基本一样,不排除CDH一些细节更完善。
    2.V2本身就有问题,不建议使用V2,更不建议使用V2的Kerberos。

    [回复]

    那闯 回复:

    谢谢!

    [回复]

  • 3楼啊啊 回复

    Post: 2013-03-24 09:18

    楼主你好,我想知道HA过程中向HDFS中都写了哪些内容啊

    [回复]

  • 4楼Dong 回复

    Post: 2013-03-24 10:10

    自己看代码。

    [回复]

  • 5楼laighing 回复

    Post: 2013-04-21 08:34

    博主你好,请问哪里可以看到或者下载到cdh3 cdh4的源码?

    [回复]

    Dong 回复:

    我正不理解你是怎么读别人文章的,我这篇文章的最后不是有吗,太不认真了:
    CDH3: http://archive.cloudera.com/cdh/3/
    cdh4: http://archive.cloudera.com/cdh4/cdh/4/

    [回复]

  • 6楼laughing 回复

    Post: 2013-04-21 08:46

    不好意思哈,刚翻下去,看到了,谢谢

    [回复]

  • 7楼ydcao 回复

    Post: 2013-04-23 09:34

    你好,我搭建完这个环境的时候,怎么启动集群呢?我这里是先formatZK,把hadoop-ha注册到ZooKeeper上,之后./start-mapred.sh,但是Jobtracker启动不起来,都不识别mapreduce.job.tracker定义的逻辑名。请问是我启动的问题?还是环境搭建有问题呀?感谢

    [回复]

    Dong 回复:

    确你定配置的mapreduce.job.tracker正确,且每个逻辑名都映射到了一个实际的地址上(也要配置)。

    [回复]

    heyee 回复:

    执行start-mapred.sh是会报错的,我们的方法是把start-mapred.sh重新改了一下。不启动jobtracker,而启动jobtrackerha

    [回复]

  • 8楼MGGOON 回复

    Post: 2013-05-20 14:13

    JobTracker的HA在淘宝集群已经实现了,采用双机热备份,利用hadoop里面自身的recovery机制(当然这里修复了很多bug),备份JobTracker实时的解析主JobTracker的job运行日志并还原出job的状态。主JobTracker job日志的收集通过TimeTunel或者共享NFS实现。主备JobTracker的状态差别比较小,切换之后不到30s就能达到状态完全一致。

    [回复]

    Dong 回复:

    赞一个!

    [回复]

  • 9楼ciel 回复

    Post: 2013-05-29 01:26

    你好 ,请问这篇文章中介绍的cdh4 的Jobtracker ha方案解决了文中开始介绍的那四个流程的全部吗?

    [回复]

    Dong 回复:

    yes

    [回复]

  • 10楼呵呵 牛人 卖书了 回复

    Post: 2013-09-10 07:59

    呵呵 牛人 卖书了

    [回复]

  • 11楼小猪闯天涯 回复

    Post: 2013-11-06 11:56

    你好,请教一下。我安装的hadoop-2.0.0-cdh4.4.0,然后编译eclipse-plugin死活木有成功。查了很多地方,说src里面的hadoop-mapreduce-project文件,但这个版本的这个文件夹里面确实没有eclipse-plugin,我就用的hadoop-mapreduce1-project来编译,但是报错了,/home//hadoop-2.0.0cdh4.4.0/src/hadoop-mapreduce1-project/src/contrib/build-contrib.xml:440:
    impossible to resolve dependencies:resolve failed***
    请问一下为什么啊?

    [回复]

    油饼头小笨笨 回复:

    您好,这个我已经编译好了。我也是编译hadoop-2.0.0-mr-cdh4.4.0,在hadoop-mapreduce1-project里编译。你的这个错误,需要修改ivysetting.xml配置。而且不仅这样,还有复制好多jar包。如果有需要可以联系我。

    [回复]

    油饼头小笨笨 回复:

    我邮箱是dylan602@163.com

    [回复]

    小猪闯天涯 回复:

    非常感谢您的回复~已经给你发邮件了,请查收~我的邮箱:623901340@qq.com

    [回复]

  • 12楼zz 回复

    Post: 2013-12-23 10:12

    董兄,我们在CDH4.5版本上做了HDFS2+jobtracker,成功了。但是hive怎么弄都不同。hive的cdh4.5和cdh3都尝试了。hive的cdh4.5在执行map时报错:
    2013-12-23 17:59:21,539 INFO org.apache.hadoop.mapred.TaskInProgress: Error from attempt_201312231758_0001_m_000000_2: java.lang.RuntimeException: java.lang.NullPointerException
    at org.apache.hadoop.hive.ql.exec.Utilities.getMapRedWork(Utilities.java:226)
    at org.apache.hadoop.hive.ql.io.HiveInputFormat.init(HiveInputFormat.java:255)
    at org.apache.hadoop.hive.ql.io.HiveInputFormat.pushProjectionsAndFilters(HiveInputFormat.java:381)
    at org.apache.hadoop.hive.ql.io.HiveInputFormat.pushProjectionsAndFilters(HiveInputFormat.java:374)
    at org.apache.hadoop.hive.ql.io.CombineHiveInputFormat.getRecordReader(CombineHiveInputFormat.java:536)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:394)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:332)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:268)

    请问针对此问题,有什么hive的解决方案吗?谢谢!

    [回复]

  • 13楼胡汉三 回复

    Post: 2015-03-02 03:30

    董哥,咨询下你一个问题:spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS!这样的运行效率确实会高很多,不过,中间suffle数据等存储在内存中,对集群的内存岂不是要求很大!以前搭建的内存为32,64G内存的集群机器能否支撑spark的新型模式

    [回复]

发表评论