#!/bin/zsh
# chunk @ 2014
########################################################################################
##
## F**k World!
##
##  90% of efforts wasted on anti-anti-scrapping !!!
##
########################################################################################

##############################################
## environment variables
##############################################
export export TERM=linux
source /home/hadoop/.zshrc
v env0

##############################################
## additional files list
##############################################
FILE=hehe.json

#scrapy runspider spider/test.py
cd ./spider/mspider/
[ -f $FILE ] && rm $FILE
#scrapy crawl douban -o $FILE
scrapy crawl baidu -o $FILE