原理图英文参数名
参数说明--master
master 的地址，提交任务到哪⾥执⾏，例如 spark://host:port, yarn, local --deploy-mode
在本地 (client) 启动 driver 或在 cluster 上启动，默认是 client --classpressing
应⽤程序的主类，仅针对 java 或 scala 应⽤--name
应⽤程序的名称--jars
⽤逗号分隔的本地 jar 包，设置后，这些 jar 将包含在 driver 和 executor 的 classpath 下--packages
包含在driver 和executor 的 classpath 中的 jar 的 maven 坐标--exclude-packages
为了避免冲突 ⽽指定不包含的 package --repositories
远程 repository --conf PROP=VALUE
指定 spark 配置属性的值， 例如 -aJavaOptions="-XX:MaxPermSize=256m"--properties-file
加载的配置⽂件，默认为 f --driver-memory
Driver 内存，默认 1G --driver-java-options
传给 driver 的额外的 Java 选项--driver-library-path
传给 driver 的额外的库路径--driver-class-path
传给 driver 的额外的类路径--driver-cores
Driver 的核数，默认是1。在 yarn 或者 standalone 下使⽤--executor-memory
每个 executor 的内存，默认是1G --total-executor-cores
所有 executor 总共的核数。仅仅在 mesos 或者 standalone 下使⽤--num-executors
rados启动的 executor 数量。默认为2。在 yarn 下使⽤--executor-core 每个 executor 的核数。在yarn 或者standalone 下使⽤spark-submit 提交任务及参数说明
spark-submit 可以提交任务到 spark 集群执⾏，也可以提交到 hadoop 的 yarn 集群执⾏。
beneath是什么意思1. 例⼦
⼀个最简单的例⼦，部署 spark standalone 模式后，提交到本地执⾏。
./bin/spark-submit \
touchpad是什么意思--master spark://localhost:7077 \
examples/src/main/python/pi.py
常见英语名字>淋巴炎如果部署 hadoop ，并且启动 yarn 后，spark 提交到 yarn 执⾏的例⼦如下。
注意，spark 必须编译成⽀持 yarn 模式，编译 spark 的命令为：
pro是什么意思build/mvn -Pyarn -Phadoop-2.x -Dhadoop. -DskipTests clean package
其中, 2.x 为 hadoop 的版本号。编译完成后，可执⾏下⾯的命令，提交任务到 hadoop yarn 集群执⾏。./bin/spark-submit --class org.amples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 1 \
--queue thequeue \
training是什么意思examples/target/scala-2.11/jars/spark-examples*.jar 10
2. spark-submit 详细参数说明新视野大学英语2课文翻译
