站长统计
Spark中executor-memory参数详解
我们知道，spark执⾏的时候，可以通过 --executor-memory 来设置executor执⾏时所需的memory。但如果设置的过⼤，程序是会报错的，如下
555.png
那么这个值最⼤能设置多少呢？本⽂来分析⼀下。 ⽂中安装的是Spark1.6.1，安装在hadoop2.7上。
1、相关的2个参数
1.1 ya rn.sc heduler.ma xim um-a llo c a tio n-mb
r n.sc heduler.m a ximum-a
这个参数表⽰每个container小国家有哪些
能够申请到的最⼤内存，⼀般是集晚唐
群统⼀配置。Spark中的executor进程是跑在container中，所以container的最⼤内存会直接影响到executor的最⼤可⽤内存。当你设置⼀个⽐较⼤的内存时，⽇志中会报错，同时会打印这个参数的值。如下图 ，6144MB，即6G。
666.png
1.2 spa r k.ya o r yOverhea d
ryOverhea
executor执⾏的时候，⽤的内存可能会超轮滑运动
过executor-memoy，所以会为executor额外预留⼀部分内存。
spark.yaabc是什么银行
Overhead代表了这部分内存。大学生恋爱
这个参数如果没有设置，会有⼀个⾃动计算公式(位于Cl南京旅游攻略二日游
ientArguments.scala 中)，代码如下：
777.png
