run_spider.sh
652 Bytes
#!/bin/zsh
# chunk @ 2014
########################################################################################
##
## F**k World!
##
########################################################################################
##############################################
## environment variables
##############################################
export export TERM=linux
source /home/hadoop/.zshrc
v env0
##############################################
## additional files list
##############################################
FILE=hehe.json
#scrapy runspider spider/test.py
cd ./spider/mspider/
[ -f $FILE ] && rm $FILE
scrapy crawl douban -o $FILE