1f1943eb
 qijun
initial commit
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
|
#!/bin/env sh
export export TERM=linux
source /home/hadoop/.bashrc
workon envtmp
####################################################################
## environment variables
####################################################################
export PYSPARK_PYTHON=/home/hadoop/.virtualenvs/envtmp/bin/python
export SPARK_CLASSPATH=`hbase classpath`
export SPARK_JAR=hdfs://master:9000/user/spark/share/lib/spark-assembly-1.2.2-hadoop2.5.1.jar
####################################################################
## additional files list
####################################################################
JARS=$SPARK_HOME/lib/spark-examples-1.2.2-hadoop2.5.1.jar
#JARS=hdfs://HPC-server:9000/user/spark/share/lib/spark-examples-1.3.0-hadoop2.5.1.jar
#APP=test_imager.py
#APP=test_spark.py
APP=/home/hadoop/Programs/newdist/testor.py
#APP=/home/hadoop/Programs/newdist/testor1.py
#ARGS="Train_100"
#$ARGS = $1
####################################################################
## submit script
####################################################################
time spark-submit \
--driver-memory 1g \
--executor-memory 1g \
--jars $JARS \
$APP $1
2>&1 | tee -a pyspark.log
exit
|