为了解决多集群带来的问题,可将多个集群统一为一个集群,这将带来以下几个好处:提高集群整体利用率。所有业务运行在一个大的集群中,并按需分配给各个应用程序,可达到资源错峰交谷的目的,提高系统整体利用率和均衡率;减少管理成本。多个集群合并成一个大集群后,便于统一管理和统一运维,可减少管理成本。本文对比了多集群下资源共享方案。

Google公布了它的下一代集群管理系统Omega的设计细节。论文中谈到Google经历的三代资源调度器的架构,分别是中央式调度器架构(类似于Hadoop JobTracker,但是支持多种类型作业调度)、双层调度器架构(类似于Mesos和YARN)和共享状态架构(就是Omega),并分别讨论了这几个架构的优缺点。

资源调度和资源隔离是YARN作为一个资源管理系统,最重要和最基础的两个功能。资源调度由ResourceManager完成,而资源隔离由各个NodeManager实现,在文章“Hadoop YARN中内存和CPU两种资源的调度和隔离”中,我已经介绍了YARN的内存和CPU的资源隔离,本文将介绍YARN在资源隔离方面的一些进展。

在互联网大数据应用场景下,大部分情况下,数据量很大且数据字段数目很多,但每次查询数据只针对其中的少数几行,这时候列式存储是极佳的选择,目前在开源实现中,最有名的列式存储引擎是Parquet和ORC,在最近一年内,它们都晋升为Apache顶级项目,可见它们的重要性。本文尝试比较这两种存储引擎。

这是我在数盟上分享的一个topic,介绍了hadoop yarn的产生背景、基本架构、运行在yarn上的计算框架(包括MapReduce、Tez、Storm、Spark等)和发展趋势,该PPT可看做hadoop 2.0新书《Hadoop技术内幕:深入解析YARN架构设计与实现原理》的精简介绍。