当前位置: 首页>>Hadoop技术内幕(YARN)>> 阅读正文

Hadoop技术内幕(YARN)第3章问题讨论

Category: Hadoop技术内幕(YARN) View: 9,993 Author: Dong
,

  • 评论 (4)
  • 引用通告 (0)
发表评论 发起引用

  • 1楼奔跑 回复

    Post: 2013-12-04 15:54

    评论都在那啊?

    [回复]

  • 2楼never 回复

    Post: 2013-12-22 05:55

    博主先起个头吧

    [回复]

  • 3楼never 回复

    Post: 2013-12-22 06:07

    第一个,实现使用pb使得hadoop rpc跨语言成为可能,但是要真正做到跨语言使用各个组件,如hdfs、yarn、hbase等,还需要很多开发者做很多工作,如做一个纯粹的hbase C++客户端,而做一个yarn的C++ App则更难;
    第二个,我觉得有点就是不需要中间做转换了,缺点就是实现起来工作量比较大,如果整个RPC框架都是跨语言的就好了;
    第三个,hadoop rpc如果跨语言后,会在很多传统以C++为主的行业里面得到很广阔的发展,现在很多非互联网行业的数据处理系统都是C++写的,随着数据的增长,分布式是一个很直接的解决方案,但是分布式就要解决任务调度、资源分配、容错、高可用的问题,难度很大,如果hadoop rpc跨语言,就可以直接服用其中的组件,而不是很牵强的使用pipeline或stream之类的方法进行集成。
    以上是我的一些想法,希望董老师能指正,不胜感激。

    [回复]

  • 4楼beginner 回复

    Post: 2014-02-27 11:29

    董老师您好,我在实现您书里面的第一章的hadoop源代码阅读环境这块2种方式都build都会出现问题,首先通过maven-eclipse导入的话会在import maven projects的选项中出现No marketplace entries found to handle avro-maven-plugin:1.7.4:protocol in Eclipse. Please see Help for more information. 还有其它的几个plugin也出现同样的问题。然后我尝试通过mvn install -DskipTests,和mvn eclipse:eclipse -DskipTests命令,直接用eclipse import existing projects into workspace导入工程,会出现找不到类的情况,而且第三方jar包也没有添加进来,我把share/hadoop/XX/lib中的jar包都导入会发现少了一大部分,不过有不少错误,如import org.apache.hadoop.yarn.webapp.SubView; 这句话就会出现cannot be resolved to a type,这个类不应该是原码包里存在的么为什么会解析不到?我把hadoop/share/yarn文件夹下的所有包都当成第三方jar包导入才解决,不过还会有一个The import org.apache.hadoop.security.proto cannot be resolved。。不知道这个是哪个包里面的?希望董老师解答,谢谢

    [回复]

    syn 回复:

    同问,这个问题我也碰到了。

    不知道你是怎么解决的?

    [回复]

目前还没有任何Trackbacks和Pingbacks.
发表评论