spark-submit提交python任务

更新时间:2023-06-29 20:26:48 阅读: 评论:0

spark-submit提交python任务
1、提交python⽂件,遇到的难点是python⽂件缺乏运⾏所需要的依赖模块。
python3 -m pip install xx
我使⽤的是将anaconda打包放在HDFS上。
音响简笔画基础是已经有同事在linux服务器上安装好了anaconda2,很⽅便。
青少年安全教育
⾸先是将⽂件夹,打包成zip格式: zip -r  anaconda2.zip anaconda2。然后上传⽂件⾄HDFS服务器。
对于缺乏的模块,可以使⽤conda 或者pip进⾏添加。
最后是运⾏命令
spark-submit  \
--master yarn \
--deploy-mode client \
何其相似乃尔-
-num-executors 4 \
--executor-memory 5G \
--archives hdfs:///anaconda2.zip#anaconda2 \
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./anaconda2/anaconda2/bin/python2 \
test.py
孕妇羊水少怎么补spark-submit使⽤指定的python环境
参考spark Configuration,有如下描述:
配置                                          描述董卿个人资料
茯苓粉的功效
spark.pyspark.driver.python    Python binary executable to u for PySpark in driver. (default is spark.pyspark.python) spark.pyspark.python    Python binary executable to u for PySpark in both driver and executors.
使⽤--conf指定python环境:
--conf "spark.pyspark.driver.python=/path/to/envs/bin/python3.7" \
--conf "spark.pyspark.python=/path/to/envs/bin/python3.7" \
根据描述,为了保证驱动器和执⾏器的python环境⼀致,只指定 spark.pyspark.python即可。
dha有副作用吗2、python脚本编写注意事项
写python脚本时,有两点需要注意⼀下(我⽬前就知道这两点,实际需要注意的地⽅可能更多)
脚本中需要创建SparkContext环境
from pyspark import SparkContext
sc=SparkContext(appName='first app')
SparkContext()函数有很多参数可以设置,详情参考这⾥,我这⾥只是添加应⽤名称说明怎么打开控制面板
在python脚本中,有时需要添加库依赖、使⽤import导⼊,所有的这些导⼊操作都必须在SparkContext环境创建完成之后
下⾯贴⼀下我测试时写的简单的demo,这个代码的作⽤是计算中包含字符“i”的⾏数
# -*- coding:utf-8 -*-
#firstApp.py
if __name__=="__main__":
from pyspark import SparkContext
sc=SparkContext(appName='firt app')
File('file:///home/hadoop/Download/')    num_i=word.filter(lambda s:'i' in s).count()
print(num_i)
这段代码中没有依赖额外的库,所以也就没有导⼊
提交python脚本,在提交firstApp.py脚本时,使⽤如下指令
$ spark-submit \
--master local[2] \
--num-executors 2 \
--executor-memory 1G \
/home/hadoop/Download/test/firstApp.py

本文发布于:2023-06-29 20:26:48,感谢您对本站的认可!

本文链接:https://www.wtabcd.cn/fanwen/fan/82/1068889.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:需要   脚本   打包   依赖   环境   基础   设置   参数
相关文章
留言与评论(共有 0 条评论)
   
验证码:
推荐文章
排行榜
Copyright ©2019-2022 Comsenz Inc.Powered by © 专利检索| 网站地图