当前位置: 首页>>hadoop 1.0>> 阅读正文

HDFS Federation设计动机与基本原理

Category: hadoop 1.0 View: 15,625 Author: Dong
, ,

  • 评论 (5)
  • 引用通告 (8)
发表评论 发起引用

  • 1楼lin_FS 回复

    Post: 2012-03-06 09:35

    namespace的迁移是yahoo实现了,feration还没实现,对吗?

    [回复]

    lin_FS 回复:

    还有那些扩容的指令,0.23并没有啊?

    [回复]

    Dong 回复:

    已经有了,只不过是测试版,不建议用在产品线上。 扩容并没有指令,是通过配置文件实现的,配置方法网上有不少,可以找一下,搭个集群测一下。

    [回复]

    lin_FS 回复:

    好的,谢谢您的回复

    [回复]

  • 2楼lin_FS 回复

    Post: 2012-03-16 06:25

    您好:
    多namenode时,每一个datanode都需要向所有namenode发送心跳和块汇报,这种通信开销会不会使集群不能太大?

    [回复]

    Dong 回复:

    会很大,这也影响了HDFS的可扩展性。

    [回复]

    lin_FS 回复:

    那么可理解为:namenode的横向扩展仍然是HDFS的瓶颈,那么现在可支持大约多少namenode(可以假设每个namenode的内存大小是12G),即namenode和datanode 的最佳组合数,您有相关的实际值或理论值吗? 谢谢

    [回复]

    Dong 回复:

    这个可以从namenode内存和并发处理的连接数两方面考虑,namenode内存的话,可以参考我的“HDFS小文件问题及解决方案”这篇文章,具体是根据你存储的数据特点估算(考虑小文件,大文件比例);对于RPC连接数,主要考虑datanode定时向namenode汇报心跳,Client并发访问HDFS等。具体的计算方法,你可以参考yahoo的一些报告。

    [回复]

  • 3楼lin_FS 回复

    Post: 2012-03-20 03:09

    哦,谢谢能的答复

    [回复]

  • 4楼lin_FS 回复

    Post: 2012-03-20 03:09

    谢谢您的答复

    [回复]

  • 5楼菜鸟 回复

    Post: 2015-07-27 02:54

    请问是不是这样,假如我的hdfs中存在三个目录/a /b /c
    假设配置了三个namenode n1 n2 n3分别管理/a /b /c
    客户访问/b,必须经过n2,如果n2挂了 /b便不可访问了?

    [回复]

发表评论