#!/bin/zsh # chunk @ 2014 ######################################################################################## ## ## F**k World! ## ## ## export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:`hbase classpath` ## export SPARK_CLASSPATH=$SPARK_CLASSPATH:`hbase classpath` ## ## spark-submit \ ## --driver-memory 1g \ ## --executor-memory 1g \ ## --executor-cores 2 \ ## --deploy-mode client \ ## --master yarn \ ## --class "FuckWorld" \ ## $APP_JAR $ARGS ## ## spark-class org.apache.spark.deploy.yarn.Client \ ## --num-executors 2 \ ## --executor-cores 2 \ ## --driver-memory 1g \ ## --executor-memory 1g \ ## --name "F**k World" \ ## --jar $APP_JAR \ ## --class "FuckWorld" \ ## --args $ARGS ## ######################################################################################## source /home/hadoop/.zshrc v env1 export SPARK_CLASSPATH=`hbase classpath` export SPARK_JAR=hdfs://HPC-server:9000/user/spark/share/lib/spark-assembly-1.2.0-hadoop2.5.1.jar APP_JAR=hbase_outputformat.py ARGS= spark-submit \ --driver-memory 1g \ --executor-memory 1g \ --executor-cores 2 \ --master spark://HPC-server:7077 \ --jars $SPARK_HOME/lib/spark-examples-1.2.0-hadoop2.5.1.jar \ $APP_JAR $ARGS