#!/bin/env sh
export export TERM=linux
source /home/hadoop/.bashrc
workon envtmp

####################################################################
## environment variables
####################################################################
export PYSPARK_PYTHON=/home/hadoop/.virtualenvs/envtmp/bin/python

export SPARK_CLASSPATH=`hbase classpath`

export SPARK_JAR=hdfs://master:9000/user/spark/share/lib/spark-assembly-1.2.2-hadoop2.5.1.jar



####################################################################
## additional files list
####################################################################
JARS=$SPARK_HOME/lib/spark-examples-1.2.2-hadoop2.5.1.jar
#JARS=hdfs://HPC-server:9000/user/spark/share/lib/spark-examples-1.3.0-hadoop2.5.1.jar


#APP=test_imager.py
#APP=test_spark.py
APP=/home/hadoop/Programs/newdist/testor.py
#APP=/home/hadoop/Programs/newdist/testor1.py



#ARGS="Train_100"
#$ARGS = $1




####################################################################
## submit script
####################################################################
time spark-submit \
        --driver-memory 1g \
        --executor-memory 1g \
	--jars $JARS \
        $APP $1
	2>&1 | tee -a pyspark.log


exit