#!/bin/zsh
# chunk @ 2014
########################################################################################
##
## F**k World!
##
## e.g.
##
##	export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:`hbase classpath`
##	export SPARK_CLASSPATH=$SPARK_CLASSPATH:`hbase classpath`
##
##	spark-submit \
##		--driver-memory 1g \
##		--executor-memory 1g \
##		--executor-cores 2 \
##		--deploy-mode client \
##		--master yarn \
##   	 --class "FuckWorld" \
##    	$APP_JAR $ARGS
##
##	spark-class org.apache.spark.deploy.yarn.Client \
##		--num-executors 2 \
##		--executor-cores 2 \
##		--driver-memory 1g \
##		--executor-memory 1g \
##		--name "F**k World" \
##		--jar $APP_JAR \
##		--class "FuckWorld" \
##		--args $ARGS
##
##
##  spark-submit \
##	    --driver-memory 1g \
##	    --executor-memory 1g \
##	    --executor-cores 2 \
##	    --master spark://HPC-server:7077 \
##	    --jars $SPARK_HOME/lib/spark-examples-1.2.0-hadoop2.5.1.jar \
##      $APP_JAR $ARGS
##
##
##  spark-submit \
##	    --driver-memory 1g \
##	    --executor-memory 2g \
##	    --executor-cores 2 \
##	    --master spark://HPC-server:7077 \
##	    --jars hdfs://HPC-server:9000/user/spark/share/lib/spark-examples-1.2.0-hadoop2.5.1.jar \
##	    --py-files $COMPRESSED \
##      $APP $ARGS
########################################################################################

source /home/hadoop/.zshrc
v env1

####################################################################
## environment variables
####################################################################
export PYSPARK_PYTHON=/home/hadoop/.virtualenvs/env1/bin/python

export SPARK_CLASSPATH=`hbase classpath`

export SPARK_JAR=hdfs://HPC-server:9000/user/spark/share/lib/spark-assembly-1.2.0-hadoop2.5.1.jar



####################################################################
## additional files list
####################################################################
JARS=$SPARK_HOME/lib/spark-examples-1.2.0-hadoop2.5.1.jar

BASE_DIR=/home/hadoop/workspace/pycharm/test

PACKAGE=ImageR

[ -f $BASE_DIR/$PACKAGE.zip ] && rm $BASE_DIR/$PACKAGE.zip

zip -r $PACKAGE.zip $PACKAGE/ -x $PACKAGE/.git\*  $PACKAGE/.idea\*

COMPRESSED=$BASE_DIR/$PACKAGE.zip

APP=test_spark.py
#APP=test_model.py

ARGS=""




####################################################################
## submit script
####################################################################
spark-submit \
	--driver-memory 1g \
	--executor-memory 2g \
	--executor-cores 2 \
	--master spark://HPC-server:7077 \
	--jars $JARS \
	--py-files $COMPRESSED \
    $APP $ARGS