run_spider.sh
539 Bytes
#!/bin/zsh
# chunk @ 2014
####################################################################
## environment variables
####################################################################
export export TERM=xterm
source /home/hadoop/.zshrc
v env0
####################################################################
## additional files list
####################################################################
FILE=hehe.json
#scrapy runspider spider/test.py
cd ./spider/mspider/
[ -f $FILE ] && rm $FILE
scrapy crawl dmoz -o $FILE