#!/bin/zsh
# chunk @ 2014
########################################################################################
##
## F**k World!
##
##  90% of efforts wasted on anti-anti-scrapping !!!
##
########################################################################################

##############################################
## environment variables
##############################################
export export TERM=linux
source /home/hadoop/.zshrc
v env1

##############################################
## additional files list
##############################################
FILE=hehe.json


##############################################
## requirements:
##  pip install selenium
##  pip install scrapy-random-useragent
##  pip install https://github.com/sosign/scrapy-webdriver/archive/master.zip
##
##############################################

#scrapy runspider spider/test.py
cd ../spider/mspider/
[ -f $FILE ] && rm $FILE
#scrapy crawl douban -o $FILE
#scrapy crawl baidu -o $FILE
scrapy crawl larvae