Mesos的Framework与Executor注册过程
本文以Hadoop框架为例,介绍了framework与executor向mesos注册过程。
{关注大规模数据处理,包括Hadoop,YARN,Spark,Flink,Presto等}
本文以Hadoop框架为例,介绍了framework与executor向mesos注册过程。
本文详细分析了Apache Mesos的任务分配过程。
Mesos中包含四类主要的服务(实际上是一个socket server),它们分别是Mesos Master,Mesos Slave,SchedulerProcess和ExecutorProcess,它们之间通过Protocal Buffer消息进行通信,本文重新认识了Framework这一概念。
调度器是Mesos的核心部件,主要负责将slave上资源分配给framework。Mesos为了支持多framework接入,采用双层调度机制,首先由mesos中 allocator将资源分配给framework,然后又由framework自己的调度器将资源分配给任务。本文重点介绍mesos中allocator模块。
本文介绍了Apache Mesos底层基础库,包括protobuf,Libprocess,Boost,zookeeper,glog,gmock等。
本文介绍了Hadoop YARN中Fair Scheduler相关配置和优化参数。
本文介绍了Hadoop YARN中Capacity Scheduler相关配置和优化参数。
本文汇总了几个hadoop yarn中常见问题以及解决方案,注意,本文介绍解决方案适用于hadoop 2.2.0以及以上版本。
初学者运行MapReduce作业时,经常会遇到各种错误,由于缺乏经验,往往不知所云,一般直接将终端打印的错误贴到搜索引擎上查找,以借鉴前人的经验。然而,对于hadoop而言,当遇到错误时,第一时间应是查看日志,日志里通产会有详细的错误原因提示,本文将总结Hadoop MapReduce日志存放位置,帮助初学者定位自己遇到的错误。
Mesos主要由四种组件组成,分别是mesos-master,mesos-save,scheduler和Executor,各个组件之间采用了基于protocal buffer的actor model进行通信(采用开源库libprocess),本文介绍了Apache Mesos模块间通信架构 。