run_spark.sh
2.67 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
#!/bin/zsh
# chunk @ 2014
########################################################################################
##
## F**k World!
##
## e.g.
##
## export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:`hbase classpath`
## export SPARK_CLASSPATH=$SPARK_CLASSPATH:`hbase classpath`
##
## spark-submit \
## --driver-memory 1g \
## --executor-memory 1g \
## --executor-cores 2 \
## --deploy-mode client \
## --master yarn \
## --class "FuckWorld" \
## $APP_JAR $ARGS
##
## spark-class org.apache.spark.deploy.yarn.Client \
## --num-executors 2 \
## --executor-cores 2 \
## --driver-memory 1g \
## --executor-memory 1g \
## --name "F**k World" \
## --jar $APP_JAR \
## --class "FuckWorld" \
## --args $ARGS
##
##
## spark-submit \
## --driver-memory 1g \
## --executor-memory 1g \
## --executor-cores 2 \
## --master spark://HPC-server:7077 \
## --jars $SPARK_HOME/lib/spark-examples-1.2.0-hadoop2.5.1.jar \
## $APP_JAR $ARGS
##
##
## spark-submit \
## --driver-memory 1g \
## --executor-memory 2g \
## --executor-cores 2 \
## --master spark://HPC-server:7077 \
## --jars hdfs://HPC-server:9000/user/spark/share/lib/spark-examples-1.2.0-hadoop2.5.1.jar \
## --py-files $COMPRESSED \
## $APP $ARGS
########################################################################################
export export TERM=linux
source /home/hadoop/.zshrc
v env1
####################################################################
## environment variables
####################################################################
export PYSPARK_PYTHON=/home/hadoop/.virtualenvs/env1/bin/python
export SPARK_CLASSPATH=`hbase classpath`
export SPARK_JAR=hdfs://HPC-server:9000/user/spark/share/lib/spark-assembly-1.3.0-hadoop2.5.1.jar
####################################################################
## additional files list
####################################################################
JARS=$SPARK_HOME/lib/spark-examples-1.3.0-hadoop2.5.1.jar
#JARS=hdfs://HPC-server:9000/user/spark/share/lib/spark-examples-1.3.0-hadoop2.5.1.jar
BASE_DIR=/home/hadoop/workspace/pycharm/test
PACKAGE=ImageR
[ -f $BASE_DIR/$PACKAGE.zip ] && rm $BASE_DIR/$PACKAGE.zip
zip -r $PACKAGE.zip $PACKAGE/ -x $PACKAGE/.git\* $PACKAGE/.idea\* $PACKAGE/res\* $PACKAGE/libs\*
COMPRESSED=$BASE_DIR/$PACKAGE.zip
APP=test_imager.py
#APP=test_spark.py
ARGS=""
####################################################################
## submit script
####################################################################
spark-submit \
--driver-memory 1g \
--executor-memory 2g \
--executor-cores 2 \
--master spark://HPC-server:7077 \
--jars $JARS \
--py-files $COMPRESSED \
$APP $ARGS