当前位置: 首页>>hadoop 2.0之YARN>> 阅读正文

Apache Hadoop 2.0.3-alpha发布了

Category: hadoop 2.0之YARN View: 140,061 Author: Dong
, ,

  • 评论 (11)
  • 引用通告 (1)
发表评论 发起引用

  • 1楼xinyutian 回复

    Post: 2013-02-19 07:38

    你能build 成功吗?

    [回复]

  • 2楼Dong 回复

    Post: 2013-02-19 09:26

    我没有自己build,直接使用的自带的jar包。

    [回复]

  • 3楼chopon 回复

    Post: 2013-02-19 09:33

    能build成功啊

    [回复]

    xinyutian 回复:

    我也刚build成功。

    [回复]

    实习生 回复:

    你好,我想请问下为什么我build的时候报the type org.apache.hadoop.fs.Path cannot be resolved的错误。

    [回复]

    实习生 回复:

    或者能告诉下我具体的build准备和步骤吗?

    [回复]

  • 4楼xinyutian 回复

    Post: 2013-02-20 03:17

    嗯嗯

    [回复]

  • 5楼hadooper 回复

    Post: 2013-02-20 14:02

    /bin/hadoop jar share/hadoop/tools/lib/hadoop-gridmix-2.0.3-alpha.jar
    Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/tools/rumen/JobStoryProducer
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:249)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:205)
    Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.tools.rumen.JobStoryProducer
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    … 3 more

    [回复]

    H.annuus 回复:

    你的gridmix问题解决了么?

    [回复]

  • 6楼hadooper 回复

    Post: 2013-02-20 14:03

    使用gridmix的时候出现这个错误,是什么原因,rumen是什么,要配合使用?

    [回复]

    H.annuus 回复:

    hadoop2,2要怎么用gridmix2?

    [回复]

  • 7楼Dong 回复

    Post: 2013-02-21 01:02

    Rumen是Hadoop自带的日志解析工具,它能将Hadoop日志解析成规范化的格式,gridmix3用到了这个工具。gridmix3跟gridmix2不同,他是一种track-based gridmix,它可帮助用户在实验集群中重现或者模拟线上集群中出现的问题,它不是gridmix2的替代品,而是对gridmix2不足的一种弥补。通常情况下,当用户作业在线上集群出现问题时,用户可使用Rumen(http://hadoop.apache.org/docs/mapreduce/r0.22.0/rumen.html)在线上集群上获取该作业(从JobHistory日志中提取)的运行轨迹, 然后将作业的轨迹文件作为Gridmix3输入,运行到实验集群上,以重现线上集群出现的问题,进而发现问题。

    [回复]

    hadooper 回复:

    嗯。。。我还是用回2了。暂时没用3,不过很奇怪,既然2和3完全不同的东西,干嘛要把2去掉,弄得我编译花了好多时间

    [回复]

    Dong 回复:

    2没去掉吧。 另外,gridmix2就是一套作业,可运行在各版本上。

    [回复]

    H.annuus 回复:

    hadoop2.2可以运行gridmix2么?怎么运行?我只找到一个hadoop-gridmix-2.2.0.jar包。

    [回复]

  • 8楼hadooper 回复

    Post: 2013-02-24 02:08

    在0.23.5之后,我就没找到这套作业了。

    [回复]

  • 9楼slp 回复

    Post: 2013-03-16 09:40

    hadoop2.0中的Federation博主有研究过吗?感觉nanenode的瓶颈问题被解决了,但是系统架构越来越复杂了…

    [回复]

    Dong 回复:

    Federation思想是切片水平扩展,每个namenode分管一部分目录,这样可以解决单个namenode的内存瓶颈和扩展瓶颈,但是仍存在单点故障问题(每个namenode仍是单点故障)。至于复杂不复杂,从用户角度,在使用上没有任何变化,在内部是实现上,namenode设计基本没变,主要是datanode修改。

    [回复]

    slp 回复:

    在理!

    [回复]

  • 10楼lxmsmm 回复

    Post: 2013-04-16 09:15

    2.0.3里面JobTracker.java和TaskTracker.java怎么都没有了?相关的比如JobTrackerClientProtocolProvider也都没了,是不是不支持配置成mr1的模式了?谢谢~

    [回复]

  • 11楼Dong 回复

    Post: 2013-04-16 10:02

    是的,不支持MRv1,因为2.0.3已经以另外一种方式实现了,你需要部署YARN,然后按照现有方式提交作业即可。 2.0.3是下一代Hadoop,已经没有JobTracker和TaskTracker这种服务了。

    [回复]

    lxmsmm 回复:

    嗯好的,多谢啦!另外问下旧的mr程序为什么要重新编译才能在mr2上跑呢,提供的接口似乎是一样的,这其中有什么地方有依赖关系呢?

    [回复]

    Dong 回复:

    哪个地方说,要重新编译?

    [回复]

    lxmsmm 回复:

    http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html
    最后一句话。

    [回复]

    Dong 回复:

    嗯,兼容并不一定意味着直接可以跑,Hadoop 库有的地方可能增加了一些函数,但之前函数不变,这样的话,是一定需要重新编译的(编译一定可以通过,这个编译会将新增的函数编译进去,不然直接运行对不上号),另外,并不是所有语言都是Java编写的,还有C++之类的写的。总之,为了确保万一,重新编译一下比较好。不过我估计,有的甚至不用重新编译,具体你可以试验一下。

    [回复]

    lxmsmm 回复:

    像pig这样的要指定JobTracker地址的是不是就不能用了啊

    [回复]

    Dong 回复:

    可以使用,只不过是不指定JobTracker地址,而是ResourceManager地址。

    [回复]

发表评论