当前位置: 首页>>hadoop 2.0之YARN>> 阅读正文

Apache Hadoop 2.0 (Alpha)发布了

Category: hadoop 2.0之YARN View: 31,539 Author: Dong
, ,

  • 评论 (19)
  • 引用通告 (0)
发表评论 发起引用

  • 1楼xuxm2007 回复

    Post: 2012-05-25 02:08

    hi,你好,请教个问题啊.
    我现在有一些机器,磁盘有大有小,集群在运行一段时间后,各个节点的数据分配是比较均匀的,但是小磁盘的机器就有的时候会因为磁盘不足,而导致task failed.然后重试,使得运行时间变长.
    我想问有这样的配置使得可以在大磁盘上block分配的多一点,小集群上适量的少一点?
    谢谢

    [回复]

    Dong 回复:

    你这个功能需求挺大,但是当前Hadoop还不支持,你如果需要该功能,要自己修改代码。不过,当前Hadoop正在完善TaskTracker磁盘故障解决方案,其中逐步会加入你提到的这个功能,具体参考:https://issues.apache.org/jira/browse/MAPREDUCE-2657

    [回复]

    gg 回复:

    1,定期做Balance
    2,mapred.local.dir.minspacestart
    3,自己也要估量下reduce要占用的空间大小.

    [回复]

  • 2楼alex gemini 回复

    Post: 2012-05-26 06:40

    磁盘不足是你没配reserved space,跟disk failure 是两个场景.

    [回复]

    Dong 回复:

    你说的对,呵呵,我理解错了,http://wiki.apache.org/hadoop/DiskSetup

    [回复]

    xuxm2007 回复:

    后来我找到这个配置项,但是我使用的版本是有bug的,所有没有生效
    http://dongyajun.iteye.com/blog/600841

    [回复]

  • 3楼freemanhjr 回复

    Post: 2012-07-04 09:19

    问个基本的问题,hdfs按照64M分块,如果一个文件小于64M,比如20M,那么在datanode上存储的是64M的块(20M加上44M的填充),还是20M的块呢?

    [回复]

  • 4楼Dong 回复

    Post: 2012-07-12 05:51

    还是20MB,按64块切分是指将大文件切成64K的block,小文件不动。

    [回复]

  • 5楼freemanhjr 回复

    Post: 2012-07-20 05:37

    请教一下:
    hadoop 2.0中,带的dfsio能测试以前版本的hdfs io性能吗?
    现在比较稳定和好用的hdfs是哪个版本的?
    另外hdfs的IO性能和其他的文件系统比,怎么样呢?比如kfs、glusterfs等?
    谢谢!盼答复

    [回复]

  • 6楼Dong 回复

    Post: 2012-07-20 06:27

    (1)dfsio是一个独立的测试工具,理论上可以测试之前版本的io性能,但是,具体我没有测试过,你可以尝试一下。
    (2)当前最稳定的版本是 hadoop-1.0.3
    (3)hdfs最初的设计目标是提供一个具有【高扩展性】和【容错性】的【大文件】存储方案,因此在性能和高并发等发面可能不如其他系统

    [回复]

  • 7楼freemanhjr 回复

    Post: 2012-07-20 09:32

    能否推荐一个性能好的分布式文件系统呢?谢谢!

    [回复]

    Dong 回复:

    什么叫性能好? 只考虑性能吗?只考虑性能,不考虑容错性,扩展性,稳定性吗? 你能不能说清楚一点? 不过有一个前提是,没有全能的分布式文件系统!

    [回复]

  • 8楼freemanhjr 回复

    Post: 2012-07-22 11:57

    有类似于hdfs的容错,扩展性的前提下,大文件的IO性能比hdfs好的,且稳定的系统?
    小文件的io性能比较好的又有哪些?

    [回复]

    Dong 回复:

    HDFS在大文件读写方面,已经算是比较优秀的了,至于小文件,你可以参考TFS和HBase或者Cassandra这样的key/value系统,其中value保存文件内容。

    [回复]

    higkoo 回复:

    千万不要拿Cassandra存文件!
    虽然功能上没有问题,Cassandra是种持续写入,读取最新数据的逻辑。
    当文件多了之后,Cassandra自身会进行合并丢弃旧数据。这个过程需要额外的冗余空间,并且IO非常高!
    文件存多之后你会发现磁盘IO一天24小时都是满的,而且实时性明显降低,偶尔会中断响应。

    [回复]

  • 9楼freemanhjr 回复

    Post: 2012-07-23 00:33

    谢谢!有人说hdfs是java写的,性能上不如一些C或C++写的系统;所以我也想问一下这方面的,比如kfs性能和hdfs怎么样?另外我大概也了解到一些厂家自己用C实现了类似的hdfs系统;声称性能不错,不知您觉得用C实现和java实现性能上大概有多大差别

    [回复]

    Dong 回复:

    C与java编写分布式文件系统,如果实现机制完全一致,C语言实现的那个性能会好很多。

    [回复]

  • 10楼wolf 回复

    Post: 2012-08-08 01:24

    你好,HBase利用Hadoop HDFS作为其文件存储系统,那么你说的Hbase对于小文件的处理还是要基于HDFS吗?还有请教下,Hadoop中自带文件索引吗?

    [回复]

    Dong 回复:

    仍然是的,只不过HBase使用到了SSTable存储格式(key/value格式,按照key排好序),存储小文件时,key作为文件名,value是文件内容,这样,将很多小文件合并成一个SSTable大文件,并通过设计高效的索引,支持快速查找。

    [回复]

    wolf 回复:

    sequence file也是可以将小文件通过key/value形式存储,并合并成大文件。其他的HDFS自带的小文件处理也是通过合并小文件成大文件方式进行的,那么,他们于Hbase这种方式大同小异,在性能上是不是也差不多呢(同等环境下)?

    [回复]

    Dong 回复:

    不一样的,HBase是一个大的系统,其设计重点是SSTable存储格式和高效地索引机制,而sequence file只是一个简单的key/value存储格式,没有索引之类的,所以不能支持快速查找等操作,它实际上只是Hadoop为支持二进制存储而引入的一种存储格式,这两个东西是两码事。

    [回复]

  • 11楼wolf 回复

    Post: 2012-08-10 01:47

    HBase将数据存储在HDFS上,HDFS一但写入是不支持在文件任意位置修改的,那么HBase需要更新数据怎么处理的呢?

    [回复]

    Dong 回复:

    嗯,它实际上是三元组,,修改操作实际上就是插入一条新的数据,读的时候,找时间戳最新的那条记录。

    [回复]

  • 12楼天下乌贼 回复

    Post: 2012-08-30 05:13

    问你一个问题:就是我安装的是hadoop 1.0.1但是我启动这个集群的时候会出现no route to host 的异常提示,然后就算是单机的为分布式 也是运行的话 还是会出现如此的异常,网上我查了之后是说防火墙要关闭,我用的是ubuntu11.04,我用ufw stop的指令关闭之后,还是出现这样的问题。请问下,这是什么原因呢???能不能指导指导我呢

    [回复]

    Dong 回复:

    这个是你电脑问题,比如ssh服务开了没,防火墙关了没等, 跟Hadoop没关系

    [回复]

  • 13楼sheenwood 回复

    Post: 2012-08-31 06:54

    董老师:
    有CDH3下的详细点的单点故障解决方案么?看网上的资料太少了,而且语焉不详!

    [回复]

    Dong 回复:

    NN单点故障解决方案已有多个版本,包括yahoo版本,facebook版本等,也是刚发布不久,这方面资料比较少,算是比较前沿,你得自己看文档读代码啊,呵呵!

    [回复]

  • 14楼Oracle技术沙龙 回复

    Post: 2012-10-23 08:52

    Oracle与CUUG共同举办–Oracle高级技术沙龙
    10月28日 北京 《王的盛宴-容灾技术大PK》将展示当前国际上流行的多种容灾软件的特点和应用范围,包括了oracle的GoldenGate、quest公司的shareplex、DSG的realsync以及九桥的DDS软件等

    发送 姓名 电话至 wangyc@cuug.com报名

    [回复]

  • 15楼三胖子 回复

    Post: 2012-11-13 08:31

    您 好,我正研究HADOOP,有以下几个问题想请教一下:
    1、就目前来看,生产环境选择哪个版本好??
    2、如果选2.0.2版本,如何搭建ECLIPSE开发环境?该版本的插件在哪有?
    以上谢谢!

    [回复]

    Dong 回复:

    1. 1.0.3
    2、不知道,2.0.2没搞过

    [回复]

  • 16楼Alex 回复

    Post: 2012-11-21 06:17

    您好,最近在研究hadoop2.0,我看在测试里面说对于批量的小作业会有提高,有两个问题想请教下,一个是小作业的概念,一般什么样的作业被称为小作业呢(一般有多少个Map或者Reduce),另一个问题就是从原理上来说是什么使得它有提高呢。。。谢谢您了

    [回复]

    Dong 回复:

    小作业并没有一个统一的概念,一般而言,如果input split大小为128MB或者256MB,且map task数目在10个左右,具体参考Facebook的这篇论文“Job Scheduling for Multi-User MapReduce Clusters”,“对于批量的小作业会有提高”是指会优先考虑将资源分配给小作业,对于小作业的单个task,并不会提高效率。 比如系统中有10000个作业,其中有3个小作业,则调度器会优先将资源分配给小作业,进而让小作业快速完成。

    [回复]

    Alex 回复:

    谢谢您,有上面第二个疑问主要是看了您在说批量小作业时候链接的那篇帖子,里面并没有明确是在什么情况下的,利用他给的benchmark测了一下发现Yarn只会在一些情况下有提高,而且提高也很少。按照您说的,Yarn对于小作业只是在资源调度分配上有所改进了。

    [回复]

  • 17楼nick 回复

    Post: 2013-05-27 07:08

    你好 麻烦问一下appMstr是如何从client提交到yanr的?谢谢,原代码如何查找他?

    [回复]

  • 18楼zhang 回复

    Post: 2013-11-22 09:17

    hadoop2中ha启动正常,当我杀死active时候,standby为什么不能切换为active呢?

    [回复]

    Dong 回复:

    hadoop ha有两个模式,一个是手动模式,一个是自动模式,自动模式是通过Zookeeper实现的,请问你配置zookeeper了吗?

    [回复]

    zhang 回复:

    我的zookeeper配置

    ha.zookeeper.quorum
    host-zk1:2181,host-zk2:2181,host-zk3:2181,
    指定用于HA的ZooKeeper集群机器列表

    zkfc那个进程也已经启动了

    [回复]

    zhang 回复:

    情况是这样的:
    ha正常启动了,我kill 掉active(master1机器),standby(master2机器)不能切换到active;当我手动启动master1的namenode时候,master2的standby 变成了active

    [回复]

    xiao 回复:

    应该跟zookeeper集群的选举策略有关把,默认要有三个节点,两个master挂掉一个只剩一个了,选举需要集群中可用的节点大于集群节点一半才会进行选举的把。
    所以当你手动启动master1之后,选举策略重新开启了,master2被选为leader了。
    你多加一个standby应该就会自动切换了。

    [回复]

  • 19楼天魔散人 回复

    Post: 2015-01-20 07:21

    董哥,你好。我想请教下ApplicationMaster恢复性基准测试,我在做这个测试时候,运行一个hadoop2.2自带wordcount例子,然后我中途stop-all.sh停止集群,接着我在启动集群运行之前的哪个任务,但是还是从0%开始运行,配置了mapreduce.jobtracker.restart.recover为true,非HA,是我测试做错了,还是没配置对,望赐教,感谢!

    [回复]

目前还没有任何Trackbacks和Pingbacks.
发表评论