当前位置: 首页>>hadoop 2.0之YARN>> 阅读正文

Hadoop 2.4.0版本发布了

Category: hadoop 2.0之YARN View: 12,264 Author: Dong
, ,

  • 评论 (4)
  • 引用通告 (0)
发表评论 发起引用

  • 1楼明陞M88讯特 回复

    Post: 2014-04-16 07:50

    O(∩_∩)O,呵呵

    [回复]

  • 2楼hduser 回复

    Post: 2014-04-17 03:47

    博主你好,我下了2.4的源码包,按照你的著作《深入解析YARN架构设计与实现原理》用maven编译导入eclipse后,出现错误提示
    Project ‘hadoop-streaming’ is missing required source folder: ‘/home/fhk/workspace/hadoop-2.4.0-src/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/conf’
    上网搜了相关的解决方案均没有效果,请问这要怎么解决?

    [回复]

  • 3楼康大大 回复

    Post: 2014-04-22 02:07

    董老师,您好。想向您请教一些问题,最近在了解源码HDFS的实现机制,HDFS的机制是类似于流的窗口,在写文件,只能是一个一个数据块按顺序写入Datanode,而在读文件,也是只能一个一个数据块按顺序读取,我想可不可以设计I/O的时候,鉴于网络速度比本地速度慢,可以实现多个数据块同时写入Datanode,在读文件时,可以多个数据块同时读取到客户端以此来提高I/O的读写速度?

    [回复]

    Dong 回复:

    想法不错,实现起来非常困难,要考虑如何容错,block时序等,可以尝试修改一下代码。

    [回复]

    康大大 回复:

    好的,非常谢谢老师!如果有问题再向您请教~

    [回复]

    Yanjun 回复:

    你这种想法不错,但是有个很严重的问题:如果所有的读写请求请求同时到达,I/O资源争用剧烈,最后都进行网络传输,又会导致网络资源被剧烈地占用。
    另外,如果一次文件读写请求,在Datanode上积累了很多Block,此时这个节点挂掉了,岂不是白白执行了一些读写操作,最后还是重新再来。
    HDFS这么设计是考虑过的,在读写、传输Block之间留出一个很小的时间窗口,来缓冲这样的问题。

    [回复]

  • 4楼woshitubie 回复

    Post: 2014-12-02 15:20

    请问 mapred.textoutputformat.ignoreseparator 这个参数在2.4.0以上版本的hadoop里是否还支持? 0.20里还支持 在测试2.4.0时则没有了效果.

    [回复]

目前还没有任何Trackbacks和Pingbacks.
发表评论