当前位置: 首页>>hadoop 1.0>> 阅读正文

如何在Hadoop上编写MapReduce程序

Category: hadoop 1.0 View: 43,461 Author: Dong
, ,

  • 评论 (8)
  • 引用通告 (0)
发表评论 发起引用

  • 1楼wing 回复

    Post: 2011-05-15 14:13

    挺好,很全面,给初学者一个很好的引导

    [回复]

  • 2楼yexiaojiang 回复

    Post: 2012-07-10 02:03

    再次学习

    [回复]

  • 3楼xueshi 回复

    Post: 2012-09-19 09:45

    非常好的一边文章,对Hadoop的整个MapReduce过程进行了很简介明了的概括和表述

    [回复]

  • 4楼guoluren 回复

    Post: 2013-03-25 00:51

    good,学习了

    [回复]

  • 5楼gary 回复

    Post: 2013-04-27 02:29

    非常好的文章,收藏~

    [回复]

  • 6楼fresh 回复

    Post: 2013-05-26 07:40

    hi,学习hadoop有些日子了,了解大概的原理,也进行了一些实践,这里有个问题,希望向dong求教一下;问题如下:实践中过程中,执行mapreduce的任务有2中途径(hadoop脚本和eclipde插件),但这两种方法都是由人工手动完成mr任务的执行的,请问除了hive和自写定时脚本执行mr外,有没有别的方式可以自动化的执行mr任务,也就是说mr任务的执行,能不能由外部程序集成在一起进行控制?谢谢

    [回复]

    Dong 回复:

    能。

    [回复]

    fresh 回复:

    请把这个说的详细些,用什么技术(比如第三方框架:spring吗?),大致的架构是什么样子的?期待

    [回复]

    fresh 回复:

    是用反射,去执行RunJob类的main函数吗?

    [回复]

    Dong 回复:

    有很多方法,反射是一种。

    [回复]

    小猪闯天涯 回复:

    董老师,能不能讲下这个问题,我现在也遇到的。要定时执行mapreduce程序,该怎么整呢?

    [回复]

    Dong 回复:

    可以使用linux的定时任务crontab,或者采用作业流管理系统Oozie。

    [回复]

    fresh 回复:

    其他的方法,能不能分享一下,感受一下大牛的智慧

    [回复]

  • 7楼happy3 回复

    Post: 2013-07-08 21:20

    “用户需继承reducer接口实现自己的mapper” 笔误吧

    [回复]

    Dong 回复:

    是的,已改,谢谢。

    [回复]

  • 8楼Hadoop 初学者 回复

    Post: 2013-09-18 22:12

    从来没在这种论坛留过言,今天本来已经要写不完big data的作业了,但是看了这篇文章也忍不住要来赞一个!作业写的太好了,对hadoop的入门知识写的太通透了。 解释的全是我很confuse的点!大赞作者!!!

    [回复]

目前还没有任何Trackbacks和Pingbacks.
发表评论