run_spider.sh 539 Bytes
#!/bin/zsh
# chunk @ 2014

####################################################################
## environment variables
####################################################################
export export TERM=xterm
source /home/hadoop/.zshrc
v env0

####################################################################
## additional files list
####################################################################
FILE=hehe.json

#scrapy runspider spider/test.py
cd ./spider/mspider/
[ -f $FILE ] && rm $FILE
scrapy crawl dmoz -o $FILE