当前位置: 首页>>hadoop 2.0之YARN>> 阅读正文

Storm On YARN

Category: hadoop 2.0之YARN View: 23,776 Author: Dong

  • 评论 (12)
  • 引用通告 (0)
发表评论 发起引用

  • 1楼dipper 回复

    Post: 2013-07-22 04:10

    有没有storm on yarn的部署教程什么的

    [回复]

    Dong 回复:

    storm on yarn是一个客户端程序,无需事先部署,只需运行一个应用程序就行,具体参考官方网站:https://github.com/yahoo/storm-yarn

    [回复]

  • 2楼dipper 回复

    Post: 2013-07-22 13:10

    还是没看太明白,是否需要将storm on yarn复制到每个节点?

    [回复]

    Dong 回复:

    是这样,storm on yarn实际上是将storm部署到YARN上,做法时,通过运行一个应用程序完成,该应用程序运行完了,storm也就部署好了,复制,启动等操作,均由该应用程序自动完成。

    [回复]

  • 3楼dipper 回复

    Post: 2013-07-23 00:09

    也就是说,先部署好hadoop2.x,然后在一台机器上运行storm-yarn launch ,整个集群就布置好了,是吗?

    [回复]

    Dong 回复:

    是的,运行的时候,可以设置一些参数,比如启动的supervisor数目,占用的内存大小等,storm启动之后,如果负载增加,可以通过另外一些命令扩充计算资源(增加supervisor数目),进而实现一个弹性storm集群。

    [回复]

  • 4楼zhangfenghua 回复

    Post: 2013-10-17 09:08

    博主我最近在安装storm-yarn,但是没成功,想请教个问题。
    storm-yarn是不是对hadoop的版本有要求,基于hadoop-2.0.0-cdh4.4.0 这个版本的yarn集群能够安装吗?

    [回复]

    Dong 回复:

    这个项目有版本说明,支持最新的apache版本,这意味着不支持cdh4,cdh4比较老了,还没有跟上apache版本,尤其是通信协议等变了。

    [回复]

    Findhy 回复:

    Dong,您好,我通过命令:
    storm-yarn addSupervisors -appId application_1399464020057_0006 -supervisors 2
    storm-yarn startSupervisors -appId application_1399464020057_0006

    增加Supervisor,然后再启动,不起作用也没有报错,通过StormUI看还是没有Supervisor,能帮忙看看可能是什么原因吗

    [回复]

  • 5楼hsy541 回复

    Post: 2013-11-12 20:17

    Storm is not a real “real time” stream processing platform. It’s not real linear scalable and throughput is low. Check out datatorrent.com. Their platform is real-time and linear scalable and, according to my test, 100x throughput than storm :)

    [回复]

  • 6楼xy 回复

    Post: 2013-12-24 09:22

    博主你好,这个yaml文件该怎么写,能给个例子吗

    [回复]

    xy 回复:

    storm-yarn-config这个

    [回复]

  • 7楼kin 回复

    Post: 2013-12-26 06:39

    今天才知道有storm-yarn,学习了。

    [回复]

  • 8楼学习学习 回复

    Post: 2014-01-28 11:59

    博主你好,我想增加supervisor的数量
    我尝试了修改master.initial-num-supervisors ,重启storm无效
    然后又用了命令 storm-yarn addSupervisors -appId application_1390909526828_0001 -supervisors 2
    任然无效,不知道是为什么。麻烦博主帮我看看,谢谢

    [回复]

    Findhy 回复:

    我也遇到这个问题,是不是只有在创建storm集群的时候指定supervisors数量,创建之后再增加就无效了?

    [回复]

    Jonatan.Wei 回复:

    我也遇到这个问题了。感觉addSupervisors和startSupervisors都没效果的。而且集群启动感觉还有点问题!还有我想问,当前storm-yarn都支持哪些版本!

    [回复]

  • 9楼赶月亮 回复

    Post: 2014-02-18 03:51

    你好,我服务器上不了外网?直接下载https://github.com/yahoo/storm-yarn,传到装有连接hadoop2.0客户端的服务器,设置下环境变量,用root用户启动storm-yarn launch storm.yaml就行吗?storm.yaml需要配置Nimbus地址等吗?

    [回复]

  • 10楼周帅 回复

    Post: 2014-02-28 02:46

    董老师,我搭建了storm on yarn storm在yarn里面跑起来了。我运行官方的wordcount。wordcount也提交了。在storm ui 上看到wordcount在跑着,supervisor也分配了spout和blot。但是我的spout没有运行。就是在控制台上看不到spout的all time 和emit数是0。能稍提示一下,可能是什么问题吗?我找不到可以查看的日志,分析不出来问题。能回复我的话可以回我又想,或者在这里回帖吗?对了,我没看到storm在哪里配置的yarn地址。怎么就能提交到yarn呢?

    [回复]

  • 11楼storm 回复

    Post: 2014-12-12 01:41

    Storm运行在YARN上是一种新的尝试,流式集群计算产品和咨询 http://www.sodbase.com

    [回复]

  • 12楼solo 回复

    Post: 2015-06-20 19:55

    你好董老师,问个问题,我搭建hadoo 及 storm on yarn 都不是用root用户,然后就遇到个问题,就是在storm on yarn 使用storm-yarn launch storm-0.9.0-wip21/conf/storm.yaml 命令启动的时候,在yarn ui 上看到application_1434718002917_****会运行几秒就死掉了,看strom 的日志,尽然是空的,然后我找到storm yarn 分配的主机,手动启动 nimbus ,然后就报错了,错误是
    /hadoop-tmp/nm-local-dir/filecache/14/storm.zip/storm-0.9.0-wip21/logs/access.log (Permission denied)
    然后我查看此文件所在目录,发现这里的日志文件都是不可写的(实际我压缩的storm.zip中日志文件权限是777),这肯定是storm yarn 解压的问题,请问这种问题如何解决?
    谢谢

    [回复]

    solo 回复:

    好吧这个问题我自己来,回答一下吧,失败原因并不是因为文件权限问题,而是我hadoop使用的是2.7.0(也就是最新的),上官方看了下发布说明,才知道这个版本好多都没测试,还不建议使用

    [回复]

目前还没有任何Trackbacks和Pingbacks.
发表评论