当前位置: 首页>>hadoop 2.0之YARN>> 阅读正文

Hadoop版本选择探讨

Category: hadoop 2.0之YARN View: 33,501 Author: Dong
, , , , ,

  • 评论 (8)
  • 引用通告 (4)
发表评论 发起引用

  • 1楼顺⑦孜然 回复

    Post: 2013-01-04 08:18

    董博主好!我刚接触hadoop ~想问你几个问题~~
    我是一个研究生~我的导师最近让我解决hdfs的海量小文件存储问题,但是这个2.0的hdfs federation机制好像已经可以解决namenode的内存占用大和读文件慢的问题了
    还想问下在hadoop上实现一个合并文件的模块 这个容易吗?
    谢谢!

    [回复]

    Dong 回复:

    不太容易的,需要考虑的事情挺多的,具体可参考:http://dongxicheng.org/mapreduce/hdfs-small-files-solution/ 。 HDFS不擅长存储和处理小文件,通常将其合并成一个大文件或者使用其他系统存储小文件,比如HBase或者Taobao的 TFS。

    [回复]

    顺⑦孜然 回复:

    我看了哈,写的很好,那几篇论文也看过了,感觉就是增加一个合并模块的思路,但是都没有详细的实现~我的java水平也不是很高 真怕做不出来这东西

    还有这个2.0或者CDH4.0什么时候会有稳定版呢?~ 那时候这个议题都没意义了吧?~

    [回复]

    Dong 回复:

    你搞研究的话,2.0和cdh4 现在就可以用。

    [回复]

    顺⑦孜然 回复:

    哎 不光要研究 还要给老师做项目 就是把学术期刊这种小文件存进hadoop 然后lucene显示出来~~也要稳定版的吧
    以后有问题问你哈~~谢谢大牛帮忙

    [回复]

  • 2楼dipper 回复

    Post: 2013-04-30 02:09

    tfs上可否部署hbase?(将hbase的数据存储在tfs上)

    [回复]

  • 3楼Frere_mi 回复

    Post: 2013-09-12 08:51

    博主好,最近刚买了您的新书,感觉分析的很透彻。想请问您一个问题,还请您指教!
    0.20.x系列始终被认为是稳定版本,而与它同步进行开发,同样采用第一代Mapreduce框架的0.21.x/0.22.x系列却不稳定。是由于0.21.x/0.22.x加入的RAID,Symlink特性使它变得不稳定,还是在将Hadooop拆分为三个模块后有无法解决的问题呢?

    [回复]

    Dong 回复:

    0.21/0.22是下一代Hadoop中的MapReduce实现,只不过资源管理系统还是用的JobTracker,没有使用YARN,其他的一样,很多点都改变了。

    [回复]

  • 4楼小猪闯天涯 回复

    Post: 2013-11-08 07:56

    博主好,6月份的时候买了两本hadoop技术内幕,现在才看完,您那本虽然薄,但是写的非常好,很期待您能出应用型的新书。我之前是使用cdh3版本搭建的环境,现在想要升级,作为生产环境,看了一下,cloudera的cdh4最新版本是hadoop2.0.0是一个alpha版本,但是cdh5也在beta中,我选择哪一个好些呢?集群不大,没有超过50个节点,是使用cloudera manager好些还是手动安装or不使用cloudera,直接使用apache原始的hadoop2.2.0呢?

    [回复]

  • 5楼Dong 回复

    Post: 2013-11-08 08:34

    建议手动安装,这样可控性更好,但要求更高。 如果升级的话,直接升到hadoop 2.2.0,这个版本解决了HDFS单点故障、支持更多计算类似,好处大大的有。

    [回复]

    小猪闯天涯 回复:

    好的,明白了,谢谢博主~~继续关注中。。。

    [回复]

  • 6楼Jerome 回复

    Post: 2013-12-25 03:46

    想问一下博主,当前Hadoop 1.0的稳定版本是1.2.1,是不是从1.0.1过渡过来的,应该和0.21/0.22系列是有区别的吧?

    [回复]

  • 7楼alexia 回复

    Post: 2014-03-01 05:58

    文章中说“0.21.x和0.22.x则NameNode HA等新的重大特性”,就是说0.21.x和0.22.x中已经实现了NameNode HA了吗?

    [回复]

  • 8楼ll 回复

    Post: 2014-12-27 13:11

    谢谢分享!

    [回复]

发表评论