Hadoop提供了一个扩展性极好的key/value格式的配置管理器Configuration，你可以设置任意的属性名，并通过Configuration对象获取对应的属性值。 Hadoop Common中定义了Configuration的基本实现，其他模块/系统，比如MapReduce，HDFS，YARN，HBase等，均在这个基础实现基础上，实现了自己的Configuration，比如MapReduce中叫JobConf，HDFS中叫HdfsConfiguration，YARN中交YarnConfiguration，HBase中叫HBaseConfiguration，这些Configuration实现非常简单，他们继承基类Configuration，然后加载自己的xml配置文件，通常这些配置文件成对出...阅读更多

资源调度和资源隔离是YARN作为一个资源管理系统，最重要和最基础的两个功能。资源调度由ResourceManager完成，而资源隔离由各个NodeManager实现，在文章“Hadoop YARN中内存和CPU两种资源的调度和隔离”中，我已经介绍了YARN的内存和CPU的资源隔离，本文将介绍YARN在资源隔离方面的一些进展。 当谈及到资源时，我们通常指内存，CPU和IO三种资源。默认情况下，YARN不会对任何资源进行隔离，当然，如果采用Java语言编写的程序，则会使用JVM内置的隔离机制为内存资源进行隔离。随着YARN的逐步完善，在内存，CPU和IO三种资源隔离方面均有重...阅读更多

尽管YARN自带的编程API已经得到了极大的简化，但从头开发一个YARN应用程序仍是一件非常困难的事情。在YARN上编写一个应用程序，你需要开发Client和ApplicationMaster两个模块，并了解涉及到的几个协议的若干API和参数列表，其中ApplicationMaster还要负责资源申请，任务调度、容错等，总之，整个过程非常复杂。 Apache Twill(官方首页：Apache Twill)这个项目则是为简化YARN上应用程序开发而成立的项目，该项目把与YARN相关的重复性的工作封装成库，使得用户可以专注于自己的应用程序逻辑。 下面代码示例是使用Apache Twill开发一个运行...阅读更多

最近，Apache Slider成为了Apache二级孵化项目（官方首页为：http://slider.incubator.apache.org/），该项目是YARN之外的孵化项目，目的是将用户的已有服务或者应用直接部署到YANR上。 随着YARN的完善，目前已经能够直接部署服务，比如HBase，Storm等，而Apache Slider直接源自于Hoya，一个尝试将HBase部署到YARN上的项目。将HBase运行在YARN上将带来众多好处，包括： （1）在一个物理集群中可同时部署多个HBase集群实例 （2）为HBase集群提供资源隔离（这一点HBase本身做不到） （3）将多个版本的HBase集群部署到一个物理集群中 当然...阅读更多

目前spark是一个非常流行的内存计算（或者迭代式计算，DAG计算）框架，在MapReduce因效率低下而被广为诟病的今天，spark的出现不禁让大家眼前一亮。 从架构和应用角度上看，spark是一个仅包含计算逻辑的开发库（尽管它提供个独立运行的master/slave服务，但考虑到稳定后以及与其他类型作业的继承性，通常不会被采用），而不包含任何资源管理和调度相关的实现，这使得spark可以灵活运行在目前比较主流的资源管理系统上，典型的代表是mesos和yarn，我们称之为“spark on mesos”和“spark on yarn”。将spark运行在资源管理系统上将带来非...阅读更多

本文介绍Hadoop YARN最近版本中增加的几个非常有用的特性，包括： （1）ResourceManager HA 在apache hadoop 2.4或者CDH5.0.0版本之后，增加了ResourceManger HA特性，支持基于Zookeeper的热主备切换，具体配置参数可以参考Cloudera的文档：ResourceManager HA配置。 需要注意的是，ResourceManager HA只完成了第一个阶段的设计，即备ResourceManager启动后，会杀死之前正在运行的Application，然后从共享存储系统中读取这些Application的元数据信息，并重新提交这些Application。启动ApplicationMaster后，剩下的容错功能就交给Applic...阅读更多

前段时间写了几篇使用Eclipse构建Spark源码阅读和开发环境的文章。经过一段时间的试用，发现Eclipse在Scala支持方面很不完善，体验非常差，因此转而使用Intellij IDEA，本文介绍如何使用Intellij IDEA构建Spark源码阅读和开发环境。 （1）准备工作 1）  安装JDK 6或者JDK 7 2）  安装scala 2.10.x (注意版本) 2）下载Intellij IDEA最新版（本文以IntelliJ IDEA Community Edition 13.1.1为例说明，不同版本，界面布局可能不同）：http://www.jetbrains.com/idea/download/ 3）将下载的Intellij IDEA解压后，安装scala插件，流程如下：...阅读更多

Hadoop 2.4.0版本于2014年4月7日发布，相比于hadoop 2.3.0，有了很多重大改进，主要包括： （1）HDFS支持ACL ACL权限控制机制是对HDFS现有的基于Linux文件访问权限控制机制的补充，该方式更加灵活，能够解决之前HDFS无法解决的特定情况下文件权限控制问题。比如，HDFS文件/transaction/bank的拥有者是dongxicheng:dongxicheng，文件访问权限是-xwr——，某天，由于公司架构的变动，一个用户组leader需要有该文件的读权限，解决方法是将dongxicheng用户加入用户组leader，并将文件权限改为-xwr–r—，后来由于需要，...阅读更多

在大数据处理场景中，多表Join是非常常见的一类运算。为了便于求解，通常会将多表join问题转为多个两表连接问题。两表Join的实现算法非常多，一般我们会根据两表的数据特点选取不同的join算法，其中，最常用的两个算法是map-side join和reduce-side join。本文将介绍如何在apache spark中实现这两种算法。 （1）Map-side Join Map-side Join使用场景是一个大表和一个小表的连接操作，其中，“小表”是指文件足够小，可以加载到内存中。该算法可以将join算子执行在Map端，无需经历shuffle和reduce等阶段，因此效率非常高。 在Hadoop Map...阅读更多

Apache Spark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver端采用的模型），这与Hadoop 2.0（包括YARN和MapReduce）是一致的。Hadoop 2.0自己实现了类似Actor的异步并发模型，实现方式是epoll+状态机，而Apache Spark则直接采用了开源软件Akka，该软件实现了Actor模型，性能非常高。尽管二者在server端采用了一致的并发模型，但在任务级别（特指Spark任务和MapReduce任务）上却采用了不同的并行机制：Hadoop MapReduce采用了多进程模型，而Spark采用了多线程模型。 注意，本文的多进程和多线程，指的是同一个节点...阅读更多