当前位置: 首页>>资源管理系统Apache Mesos>> 阅读正文

Apache Mesos总体架构

Category: 资源管理系统Apache Mesos View: 199,137 Author: Dong
, , , ,

  • 评论 (5)
  • 引用通告 (2)
发表评论 发起引用

  • 1楼huojing 回复

    Post: 2012-11-12 08:12

    你好,请问mesos 能不能把openpbs也当做自己的一个框架呢?

    [回复]

    Dong 回复:

    当然可以,不过openpbs也是一个资源管理器,没必要一层套一层啊。

    [回复]

    huojing 回复:

    现在想让torque和hadoop在同一个集群上跑,是用mesos来统一管理方便,还是修改torque使其具有mesos的功能好呢?
    还有,mesos0.9版,我已经安装完毕,怎么把torque接入呢?我在0.9的源码里没看到framework这个目录,也没找到torque的目录。但是我用svn checkout下来的源码里有,是用python写的,但是不知道怎么用啊。需要修改torque的代码吗?
    如果方便的话,请博主能给我讲一下详细的接入torque 的步骤,谢谢哈

    [回复]

    Dong 回复:

    正如你说的,mesos已经实现了torque接入相关代码,正如你遇到的,mesos提供的文档非常少,而且torque这部分很少人研究(我也没研究过),需要你自己摸索。另外,torque和mesos实际上是一个东西,mesos之所以做一个让torque接入的模块,我认为,完全是为了证明mesos很容易整合管理其他系统,使用价值并不大。

    [回复]

  • 2楼风箫夜吟 回复

    Post: 2013-01-15 08:32

    学长,我搭建好了mesos之后,配置hadoop运行的时候当启动
    bin/hadoop jobtracker时候出现了以下异常,搞了很久,没有搞定,不知道您知道怎么解决吗?
    13/01/15 15:58:24 INFO mapred.JobTracker: STARTUP_MSG:
    /************************************************************
    STARTUP_MSG: Starting JobTracker
    STARTUP_MSG: host = Arion3/10.10.42.3
    STARTUP_MSG: args = []
    STARTUP_MSG: version = 0.20.205.1
    STARTUP_MSG: build = -r ; compiled by ‘root’ on Mon Jan 14 09:50:36 CST 2013
    ************************************************************/
    13/01/15 15:58:24 INFO impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
    13/01/15 15:58:24 INFO impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
    13/01/15 15:58:24 INFO impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
    13/01/15 15:58:24 INFO impl.MetricsSystemImpl: JobTracker metrics system started
    13/01/15 15:58:24 INFO impl.MetricsSourceAdapter: MBean for source QueueMetrics,q=default registered.
    13/01/15 15:58:24 INFO impl.MetricsSourceAdapter: MBean for source ugi registered.
    13/01/15 15:58:24 INFO delegation.AbstractDelegationTokenSecretManager: Updating the current master key for generating delegation tokens
    13/01/15 15:58:24 INFO delegation.AbstractDelegationTokenSecretManager: Starting expired delegation token remover thread, tokenRemoverScanInterval=60 min(s)
    13/01/15 15:58:24 INFO mapred.JobTracker: Scheduler configured with (memSizeForMapSlotOnJT, memSizeForReduceSlotOnJT, limitMaxMemForMapTasks, limitMaxMemForReduceTasks) (-1, -1, -1, -1)
    13/01/15 15:58:24 INFO delegation.AbstractDelegationTokenSecretManager: Updating the current master key for generating delegation tokens
    13/01/15 15:58:24 INFO util.HostsFileReader: Refreshing hosts (include/exclude) list
    13/01/15 15:58:24 INFO mapred.JobTracker: Starting jobtracker with owner as ddx
    13/01/15 15:58:24 FATAL mapred.JobTracker: java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: org.apache.hadoop.mapred.MesosScheduler
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:898)
    at org.apache.hadoop.mapred.JobTracker.(JobTracker.java:2294)
    at org.apache.hadoop.mapred.JobTracker.(JobTracker.java:2192)
    at org.apache.hadoop.mapred.JobTracker.(JobTracker.java:2186)
    at org.apache.hadoop.mapred.JobTracker.startTracker(JobTracker.java:300)
    at org.apache.hadoop.mapred.JobTracker.startTracker(JobTracker.java:291)
    at org.apache.hadoop.mapred.JobTracker.main(JobTracker.java:4978)
    Caused by: java.lang.RuntimeException: java.lang.ClassNotFoundException: org.apache.hadoop.mapred.MesosScheduler
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:866)
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:890)
    … 6 more
    Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.mapred.MesosScheduler
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:423)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:356)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:264)
    at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:819)
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:864)
    … 7 more

    13/01/15 15:58:24 INFO mapred.JobTracker: SHUTDOWN_MSG:
    /************************************************************
    SHUTDOWN_MSG: Shutting down JobTracker at Arion3/10.10.42.3
    ************************************************************/

    [回复]

    starrain0410 回复:

    想問一下,您是怎麼解決這個問題了做了好幾次總是在啟動jobtracker時出現問題。

    [回复]

  • 3楼风箫夜吟 回复

    Post: 2013-01-15 08:34

    我在那个hadoop-env.sh中已经配置好了mesos-0.9.0.jar的路径和protobuf.2.4.1的路径了:
    # Google protobuf (necessary for running the MesosScheduler).
    export PROTOBUF_JAR=/home/ddx/mesos-0.9.0/hadoop/hadoop-0.20.205.0/protobuf-2.4.1.jar

    # Mesos.
    export MESOS_JAR=/home/ddx/mesos-0.9.0/hadoop/hadoop-0.20.205.0/mesos-0.9.0.jar

    # Native Mesos library.
    export MESOS_NATIVE_LIBRARY=/home/ddx/mesos/lib/libmesos-0.9.0.so

    # The java implementation to use. Required.
    export JAVA_HOME=/usr/local/jdk1.7.0_09/

    # Extra Java CLASSPATH elements. Optional.
    export HADOOP_CLASSPATH=/home/ddx/mesos-0.9.0/hadoop/hadoop-0.20.205.0/build/contrib/mesos/classes:${MESOS_JAR}:${PROTOBUF_JAR}

    [回复]

  • 4楼开心小锋 回复

    Post: 2013-09-24 14:10

    董老师,你好!
    我在配置mesos的可靠方案,没有用mesos自带的zookeeper,而是用zookeeper-3.4.5搭建。根据官网,在mesos/var/mesos/deploy/mesos-deploy-env.sh中添加环境变量:WITH-ZOOKEEEPER=/home/zookeeper – 3.4.5.启动master:
    ~/mesos/sbin/mesos-master –zk=zk://host1:2181,host2:2181,host3:2181/mesospath ,运行结果中没有报错,但一直出现这句话:ZOO_DEBUG@zookeeper_process@1983: Got ping response in 0 ms , 而且网页打不开。
    老师,你遇见过这样的问题吗,是怎么解决的呀,需要在mesos配置文件中添加信息吗?或者需要添加环境变量吗?谢谢!期待你的回信!

    [回复]

  • 5楼frank 回复

    Post: 2013-12-30 01:57

    Framework是指外部的计算框架,如Hadoop,Mesos等
    是否应该改成:
    Framework是指外部的计算框架,如Hadoop,MPI等

    [回复]

发表评论