spark-submit提交python任务
1、提交python⽂件，遇到的难点是python⽂件缺乏运⾏所需要的依赖模块。
python3 -m pip install xx
我使⽤的是将anaconda打包放在HDFS上。
音响简笔画基础是已经有同事在linux服务器上安装好了anaconda2，很⽅便。
青少年安全教育
⾸先是将⽂件夹，打包成zip格式: zip -r anaconda2.zip anaconda2。然后上传⽂件⾄HDFS服务器。
对于缺乏的模块，可以使⽤conda 或者pip进⾏添加。
最后是运⾏命令
spark-submit \
--master yarn \
--deploy-mode client \
何其相似乃尔-
-num-executors 4 \
--executor-memory 5G \
--archives hdfs:///anaconda2.zip#anaconda2 \
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./anaconda2/anaconda2/bin/python2 \
test.py
孕妇羊水少怎么补spark-submit使⽤指定的python环境
参考spark Configuration，有如下描述：
配置 描述董卿个人资料
茯苓粉的功效
spark.pyspark.driver.python Python binary executable to u for PySpark in driver. (default is spark.pyspark.python) spark.pyspark.python Python binary executable to u for PySpark in both driver and executors.
使⽤--conf指定python环境：
--conf "spark.pyspark.driver.python=/path/to/envs/bin/python3.7" \
--conf "spark.pyspark.python=/path/to/envs/bin/python3.7" \
根据描述，为了保证驱动器和执⾏器的python环境⼀致，只指定 spark.pyspark.python即可。
dha有副作用吗2、python脚本编写注意事项
写python脚本时，有两点需要注意⼀下(我⽬前就知道这两点，实际需要注意的地⽅可能更多)
脚本中需要创建SparkContext环境
from pyspark import SparkContext
sc=SparkContext(appName='first app')
SparkContext()函数有很多参数可以设置，详情参考这⾥，我这⾥只是添加应⽤名称说明怎么打开控制面板
在python脚本中，有时需要添加库依赖、使⽤import导⼊，所有的这些导⼊操作都必须在SparkContext环境创建完成之后
下⾯贴⼀下我测试时写的简单的demo，这个代码的作⽤是计算中包含字符“i”的⾏数
# -*- coding:utf-8 -*-
#firstApp.py
if __name__=="__main__":
from pyspark import SparkContext
sc=SparkContext(appName='firt app')
File('file:///home/hadoop/Download/') num_i=word.filter(lambda s:'i' in s).count()
print(num_i)
这段代码中没有依赖额外的库，所以也就没有导⼊
提交python脚本，在提交firstApp.py脚本时，使⽤如下指令
$ spark-submit \
--master local[2] \
--num-executors 2 \
--executor-memory 1G \
/home/hadoop/Download/test/firstApp.py
