类型为submit_Spark-submit执行流程,了解一下

更新时间:2023-07-22 20:13:36 阅读: 评论:0

类型为submit_Spark-submit执⾏流程,了解⼀下摘要:本⽂主要是通过Spark代码⾛读来了解spark-submit的流程。
1.任务命令提交
我们在进⾏Spark任务提交时,会使⽤“spark-submit-class .....”样式的命令来提交任务,该命令为Spark⽬录下的shell脚本。它的作⽤是查询spark-home,调⽤spark-class命令。
粤犬吠雪
随后会执⾏spark-class命令,以SparkSubmit类为参数进⾏任务向Spark程序的提交,⽽Spark-class的shell脚本主要是执⾏以下⼏个步骤:
美丽人生主题曲(1)加载spark环境参数,从conf中获取
(2)载⼊java,jar包等
(3)调⽤org.apache.spark.launcher中的Main进⾏参数注⼊
(4)shell脚本监测任务执⾏状态,是否完成或者退出任务,通过执⾏返回值,判断是否结束
2.任务检测及提交任务到Spark
2017年2月25日竞选文艺委员演讲稿检测执⾏模式(class or submit)构建cmd,在submit中进⾏参数的检查(SparkSubmitOptionParr),构建命令⾏并且打印回spark-class中,最后调⽤exec执⾏spark命令⾏提交任务。通过组装⽽成cmd内容如下所⽰:
3.SparkSubmit函数的执⾏
(1)Spark任务在提交之后会执⾏SparkSubmit中的main⽅法
(2)doSubmit()对log进⾏初始化,添加spark任务参数,通过参数类型执⾏任务:
英语口语8000句
SUBMIT:使⽤提供的参数提交application
KILL(Standalone and Mesos cluster mode only):通过REST协议终⽌任务
REQUEST_STATUS(Standalone and Mesos cluster mode only):通过REST协议请求已经提交任务的状态
PRINT_VERSION:对log输出版本信息
grade是什么意思(3)调⽤submit函数:
一路平安英文>substr姊妹的意思doRunMain为集群调⽤⼦main class准备参数,然后调⽤runMain()执⾏任务invoke main
4.总结
Spark在作业提交中会采⽤多种不同的参数及模式,都会根据不同的参数选择不同的分⽀执⾏,因此在最后提交的runMain中会将所需要的参数传递给执⾏函数。
本⽂分享⾃华为云社区《Spark内核解析之Spark-submit》,原⽂作者:笨熊爱喝cola。
暮光之城剧情介绍
点击关注,第⼀时间了解华为云新鲜技术~

本文发布于:2023-07-22 20:13:36,感谢您对本站的认可!

本文链接:https://www.wtabcd.cn/fanwen/fan/90/185539.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:任务   提交   参数   了解   命令   社区   意思   检测
相关文章
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2022 Comsenz Inc.Powered by © 专利检索| 网站地图