Voidbox- Docker on Hadoop 一个YARN上基于Docker的计算框架 杨华辉，董西成，梁宇明 1. Voidbox设计动机 YARN是Hadoop 2.0中的分布式资源管理系统，能够对集群中的各类计算框架（比如MapReduce和Spark等）进行统一的管理和调度，同时使用轻量级隔离方案cgroups对应用程序进行隔离，避免彼此之间的干扰。然而，目前YARN对环境依赖复杂和隔离性需求高的应用程序支持不足，而这些正是Docker容器技术的优势。 Docker是近两年非常流行的容器虚拟化技术，可以自动化打包部署绝大部分应用，它使得任何程序能够运行在资源隔离的容器环境，从而...阅读更多

Google于2013年和2015年分别公开了它的实验和生产环境中使用的数据中心资源管理系统Omega和Borg，其中Omega是一个实验产品，由几个实习生博士做出了原型， 比较新颖地提出了share state架构，是一种非常理想的架构，但个人认为离完全替换Borg还有一段距离，即使替换，在短时间内仍然不能完全替换，因此本文不会过多讨论（关于Omega的细节，也可参考我的这篇文章：“解析Google集群资源管理系统Omega”，链接：http://dongxicheng.org/mapreduce-nextgen/google-omega/）。 而Borg作为一个成熟的系统，已经在google内部使用了相当长的时...阅读更多

背景 MapReduce和Spark对外提供了上百个配置参数，用户可以为作业定制这些参数以更快，更稳定的运行应用程序。本文梳理了最常用的一些MapReduce和Spark配置参数。 MapReduce重要配置参数 1.  资源相关参数 (1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限（单位:MB），默认为1024。如果Map Task实际使用的资源量超过该值，则会被强制杀死。 (2) mapreduce.reduce.memory.mb: 一个Reduce Task可使用的资源上限（单位:MB），默认为1024。如果Reduce Task实际使用的资源量超过该值，则会被强制杀死。 (3) mapreduce.map.j...阅读更多

导读：本文介绍了Hulu北京大数据团队开发的Docker On YARN实现：Voidbox，一种基于Docker，运行在YARN上的DAG计算框架，已在hulu多条生产线上使用，效果明显。本文发表在Hulu技术博客上，链接为：Voidbox：Docker On YARN 。 1. Voidbox Motivation YARN is the distributed resource management system in Hadoop 2.0, which is able to schedule cluster resources for diverse high-level applications such as MapReduce, Spark. However, nowadays, all existing framework on top of YARN are designed with assumption of speci...阅读更多

相比传统的行式存储引擎，列式存储引擎具有更高的压缩比，更少的IO操作而备受青睐（注：列式存储不是万能高效的，很多场景下行式存储仍更加高效），尤其是在数据列（column）数很多，但每次操作仅针对若干列的情景，列式存储引擎的性价比更高。 在互联网大数据应用场景下，大部分情况下，数据量很大且数据字段数目很多，但每次查询数据只针对其中的少数几行，这时候列式存储是极佳的选择，目前在开源实现中，最有名的列式存储引擎是Parquet和ORC，在最近一年内，它们都晋升为Apache顶级项目，可见它们的重要性。本文尝试比较这两种存储...阅读更多

hadoop 2.7.0已经发布，在这个版本中 ，包含几个非常重要的功能。 【重要声明】 （1）从这个版本开始，JDK必须是JDK 7+，JDK 6以及更低版本不再支持； （2）hadoop 2.7.0是测试版本，不能在生产环境中使用。 1. Hadoop Common 支持Windows Azure存储—以blob作为文件系统 2. Hadoop HDFS (1)支持truncate操作，相当于回滚操作。 (2)支持为每种存储类型设置quota（注：HDFS已经支持异构存储系统，比如同时存在磁盘，SSD，flash，内存等存储介质） (3)支持文件存在不同block大小。用户在往HDFS中append数据时，可选择直接将数据append到...阅读更多

Mesos是一个开源的资源管理系统，可以对集群中的资源做弹性管理，目前twitter, apple等公司在大量使用mesos管理集群资源，大家记得apple的siri吗，它的后端便是采用的mesos进行资源管理（自行在网上查找文章：“新一代Siri后端将采用开放源代码平台Mesos”）。国内也有零零散散的公司在使用mesos，比如豆瓣。 Mesos是高仿google内部的资源管理系统borg（论文已经发表）实现的，随着近期它对docker容器支持的越来越好，将备受关注。（注：Mesosphere，一家试图围绕 Apache Mesos 项目开展商业活动的公司，不久前从 Andreessen Horowitz ...阅读更多

作为认真阅读过hadoop源代码的人，我个人觉得有必要跟大家分享一下这方面的体会。 首先，必须要说，对于互联网工程师而言，不管hadoop源代码质量怎么样，是好还是差，我们都不得不看，别无选择，因为hadoop已逐渐成为大数据代名词，成为互联网公司的基础设施和软件，和传统的操作系统一样基础而又重要。另外，有人会问，对于只是使用hadoop的人，有没有必要学习hadoop源代码？这个取决于你个人的兴趣，追求和工作内容。一般而言，hadoop职位分别内核开发工程师（修改hadoop源代码，打patch，加feature等），hadoop运维工程师（遇到hado...阅读更多

个人谈谈阅读hadoop源代码的经验。 首先，不得不说，hadoop发展到现在这个阶段，代码已经变得非常庞大臃肿，如果你直接阅读最新版本的源代码，难度比较大，需要足够的耐心和时间，所以，如果你觉得认真一次，认真阅读一次hadoop源代码，一定要有足够的心理准备和时间预期。 其次，需要注意，阅读Hadoop源代码的效率，因人而异，如果你有足够的分布式系统知识储备，看过类似的系统，则能够很快地读它的源代码进行通读，并快速切入你最关注的局部细节，比如你之前看过某个分布式数据库的源代码，对分布式系统的网络通信模块，调度模块等有...阅读更多

在最新的hadoop 2.6.0版本中，YARN引入了一种新的调度策略：基于标签的调度机制。该机制的主要引入动机是更好地让YARN运行在异构集群中，进而更好地管理和调度混合类型的应用程序。 注意，截止这篇文章发布时，只有apache hadoop 2.6.0和hdp 2.2两个发行版具有该特性（CDH5.3尚不支持，CDH5.4会支持），在hadoop自带的调度器重，只有 Capacity Scheduler支持该特性，FIFO Scheduler和Fair Scheduler尚不支持。 什么是Label based scheduling？ 故名思议，Label based scheduling是一种调度策略，就像priority-based scheduling一样，是...阅读更多