当前位置: 首页>>hadoop 2.0之YARN>> 阅读正文

统一资源管理与调度平台(系统)介绍

Category: hadoop 2.0之YARN View: 32,583 Author: Dong
, , , , ,

  • 评论 (9)
  • 引用通告 (0)
发表评论

  • 1楼ye 回复

    Post: 2012-06-08 07:21

    我疯了,老大分布式计算的新技术层出不穷,刚看完mapreduce源码又看到spark 现在又是这些 神啊

    [回复]

    Dong 回复:

    Hadoop,Spark,Storm,S4,……

    [回复]

    ye 回复:

    经常看你的博客,以后请多多指教啊

    [回复]

  • 2楼yexiaojiang 回复

    Post: 2012-06-29 08:20

    能写篇介绍下各种分布式计算框架安装于同一组机器的文章吗?
    我想把各种框架都自己手动安装一下!

    [回复]

  • 3楼wangfeng 回复

    Post: 2012-09-27 03:36

    每个架构师为了解决一种业务问题,还是大同小异,解决问题的根本思路是一致的,只是宏观表现上不同,因为关注点不同

    [回复]

  • 4楼pinopino 回复

    Post: 2012-10-22 03:15

    我是一名.net下的普通程序员, 看过很多你博客上关于分布式技术的文章. 让我很奇怪, 也让我很纳闷的一点就是为嘛.net就没有这些生机勃勃的东西呢? 为嘛全都是java的全都是linux的? .net程序员干嘛去了呢?(额…好吧,我在写该死的CRUD)

    [回复]

    domain 回复:

    微软内部是有这样一套东西的,叫cosmos,我只能说,很有特色,主要是用来支撑bing的,虽然人家确实不开源吧,但做的也确实挺好的。上面的框架式scope,可以关注一下,这个上面发的paper很多。微软对Hadoop也有贡献呀,比如说REEF

    [回复]

  • 5楼Dong 回复

    Post: 2012-10-23 01:09

    .net是微软的, 光凭这个,就不可能收到开源届青睐,怎么可能生机勃勃, .net只能是个封闭的技术, 永不可能生机勃勃。以后的发展趋势是,一个技术,走封闭路线,不开源,则不可能流行起来, 就跟symbian之与andriod一样

    [回复]

    .V 回复:

    Microsoft有Dryad (类似MR parallel computing), Daytona (类似迭代MR计算), Windows Azure (PaaS Clud), .NET Hadoop,开源的分布式引擎和框架都会支持多种接口的,.NET一样可以用的,其实作为一名程序架构师,还是应该全面了解,各网络公司为着自己的业务提出各类计算模型和框架,并不奇怪,并极力开源以获取更多.

    我倒是希望Google能开源更多新的计算框架和系统,类似Pregel, BigQuery, Spanner,省的那帮Google跳出去的人叽叽喳喳的参考开发出这许多Hadoop/MR/Mesos/S4/…

    [回复]

    Dong 回复:

    这些开源系统的架构是google提出来的,但是开源届做的时候可能最终将这个系统做的面目全非了,甚至可能google会反过来借鉴很多开源的idea丰富到自己的系统上。另外,有些系统并不是google首先提出来的(至少出现前google并没有透露任何消息),比如Hive(09年,google关于tenzing、dremel的论文发表于11和10年),mesos(这个就更早了)。随着开源概念的深入人心,很多新颖的系统会出现,这些系统,google并不一定有,相反,google可能会反过来学习。 google当初开源的MapReduce,GFS等论文推动了开源的飞速发展,但一旦发展到一定程度,各种创造性的系统就会出现。毕竟,开源实际上是一种“群体智慧”的体现,这里的群体是全世界范围内的hacker。

    [回复]

  • 6楼封神 回复

    Post: 2013-01-08 09:11

    其实都是双层的,只是粒度的问题。我感觉两者都差不多,做到最后会很相似的。

    [回复]

  • 7楼weirorange7 回复

    Post: 2014-03-11 07:42

    您好,本篇文章中在与mesos的对比中说yarn是单层调度,但是在您的书中,第161页说yarn是双层资源调度模型,正确的应该是哪一个呢?还有就是yarn分配任务的时候,是只分配到应用程序这一层,还是到具体的任务呢?谢谢您啦

    [回复]

    Dong 回复:

    之前理解有误,现在已经修改了,看现在的内容。

    [回复]

  • 8楼modeyangg 回复

    Post: 2014-03-17 01:20

    您好,很喜欢您的博客和微信,看完这篇文章有几个问题想请教一下。
    1. 本文中对于YARN的框架图里面的Container是做什么用的?我你文章中写到YARN的隔离性是进程级别,不存在像mesos那样利用linux container将每个任务隔离起来。
    2. YARN对于容灾性的处理还能不能详细一点介绍,我看您说的定时将任务保存在磁盘,那如果宕机了怎么办呢? 这点Mesos如果在slave宕机后,Framework/master就会监听到slave的状态,将在这个slave中的任务重新分配,以保证任务的成功执行。这两个框架对于容灾性处理优劣能分析下吗?
    3. 如你本文中讲到,Mesos和YARN在任务资源分配中存在很大不同,Mesos是不能够感知到任务的资源要求的,而由Framework内部的二次调度完成,而YARN里面,应用程序ApplicationMaster会把各个任务的资源要求汇报给YARN,YARN则根据需要为应用程序分配资源。我想问的是,在YARN中如何确定每个任务的资源要求呢? 经验值还是?
    可能对于YARN还不怎么了解,望回复,谢谢。

    [回复]

    Dong 回复:

    1. Container就是一个抽象概念,封转了任务执行所需的环境、资源等信息, 这篇文章比较早了,现在YARN已经像Mesos一样,提供了cgroups隔离机制。
    2. YARN目前也不太适合运行长服务,应以像map task或者reduce task这样的短任务为主,这主要是因为yarn直接从mapreduce过渡来的,而mesos不同,他先天就考虑到了部署长服务。 不过yarn正在朝着方面发展。
    3. 用户提交应用程序时,需指定你的task需要的资源量,这个值是用户自己确定的(默认值),一般是经验值,或者估算值。目前这方面还难以做到智能推测。

    [回复]

    modeyangg 回复:

    谢谢回复,正在拜读您的别的文章,希望能多多指教。

    [回复]

  • 9楼SelfMedicated 回复

    Post: 2014-06-19 03:22

    董大哥,能否把你写的文章加上一个文章发表时间,因为文章的内容(比如“该开源软件目前还很不稳定”),是基于时间的,当然从评论也能粗略看出时间,但不准确….

    [回复]

目前还没有任何Trackbacks和Pingbacks.
发表评论