Dong

138

Dong 的帖子

我最近将出版的一本新书《Hadoop技术内幕：深入解析YARN架构设计与实现原理》，这本书与我之前写的书籍 《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》是一个系列，写作思路也是一样的，但是讲解的是不同系统，彼此之间没有重复。欢迎大家关注。

Hadoop 2.0内核由三个分支组成，分别是HDFS、MapReduce和YARN，而Hadoop生态系统中的其他系统，比如HBase、Hive、Pig等，均是基于这三个系统开发的。截止本文发布，Hadoop 2.0的这三个子系统的单点故障均已经解决或者正在解决（Hadoop HA），本文将为大家介绍当前的进度和具体的解决方案。

不管在MRv1还是MRv2中，MapReduce应用程序编程接口（API）是一致的。为了能够让用户应用程序平滑迁移到Hadoop 2.0中，MRv2尽可能得保证编程接口的向后兼容性，但由于MRv2本身进行了改进和优化，它在向后兼容性方面存在少量问题，而这正是本文所要介绍的。

在Hadoop中，资源管理是很重要的一个模块，它直接决定了资源的组织形式和分配方式，是其他功能的基础，而伴随着Hadoop的优化和升级，资源管理系统在发生的重大变化，本文将对比Hadoop 1.0和Hadoop 2.0中的资源管理方案。

随着Hadoop版本的演化，Fair Scheduler和Capacity Scheduler的功能越来越完善，包括层级队列组织方式、资源抢占、批量调度等，本文对比了Fair Scheduler和Capacity Scheduler两个调度器的异同。