当前位置: 首页>>Frameworks (Spark) On YARN>> 阅读正文

Apache Spark探秘:多进程模型还是多线程模型?

Category: Frameworks (Spark) On YARN View: 12,891 Author: Dong

  • 评论 (2)
  • 引用通告 (3)
发表评论 发起引用

  • 1楼Rocky 回复

    Post: 2014-05-04 09:21

    董老师你好,Spark的多线程模型是不是就决定了Spark不支持多任务的并发,不支持多作业的提交并发执行?

    [回复]

    Dong 回复:

    不是的,支持。这里的多线程模型只是指单个作业是多线程,多个作业还是可以同时执行的,只要集群中资源够用。

    [回复]

    兵大侠 回复:

    但是我执行一起提交了多个spark job ,从spark 监控看,就只看到一个job在 running ,其他状态都是waiting

    [回复]

    fine_weather 回复:

    请问后来你是怎么解决多个job并发执行,而不是一个在running,其他在waiting

    [回复]

  • 2楼茶干 回复

    Post: 2014-09-22 15:39

    纠正文章中一个可能是笔误的错误,“Spark引擎内部只用两类Task便可表示出一个复杂的应用程序,即ShuffleMapTask和ReduceTask”,此处应该是“ResultTask”

    [回复]

发表评论