Hadoop YARN类别

为了解决多集群带来的问题，可将多个集群统一为一个集群，这将带来以下几个好处：提高集群整体利用率。所有业务运行在一个大的集群中，并按需分配给各个应用程序，可达到资源错峰交谷的目的，提高系统整体利用率和均衡率；减少管理成本。多个集群合并成一个大集群后，便于统一管理和统一运维，可减少管理成本。本文对比了多集群下资源共享方案。

Google公布了它的下一代集群管理系统Omega的设计细节。论文中谈到Google经历的三代资源调度器的架构，分别是中央式调度器架构（类似于Hadoop JobTracker，但是支持多种类型作业调度）、双层调度器架构（类似于Mesos和YARN）和共享状态架构（就是Omega），并分别讨论了这几个架构的优缺点。

资源调度和资源隔离是YARN作为一个资源管理系统，最重要和最基础的两个功能。资源调度由ResourceManager完成，而资源隔离由各个NodeManager实现，在文章“Hadoop YARN中内存和CPU两种资源的调度和隔离”中，我已经介绍了YARN的内存和CPU的资源隔离，本文将介绍YARN在资源隔离方面的一些进展。