# robots.txt for Bluejob

#By kuhanzhu

#  7:37 2007-5-9

#

#本文件的作用是有效管理搜索引擎，避免浪费网站流量

#使用说明：禁止某搜索引擎：

#User-agent: BadBot

#Disallow: /

#允许某搜索引擎：

#User-agent: BadBot

#Disallow: 

#区别只是一斜杠

#



#以下请勿修改

User-agent: *

Disallow: /data/

Disallow: /include/



#以下禁止排名爬虫，是否会影响排名kuhanzhu未知，不关心流量者可去掉。

#User-agent: ia_archiver

#Disallow: /





#以下这个是google的，对于扫得特厉害的建议封掉。但不宜长期禁止，建议每周开四停三

User-agent:Googlebot

Disallow:



#以下这个是百度的，对于扫得特厉害的建议封掉。但不宜长期禁止，建议每周开四停三

User-agent:Baiduspider

Disallow:



#下面这个垃圾不知道是什么

#User-agent:OutfoxBot

#Disallow: /



#http://lucene.apache.org/nutch/bot.html

#User-agent: Nutch

#Disallow: /



#奇虎

User-agent:QihooBot 1.0

Disallow:/



User-agent:QihooBot

Disallow:/





#网易有道

#User-agent:YodaoBot/1.0

#Disallow:/



#User-agent:YodaoBot

#Disallow:/



#User-agent:YodaoBot 1.0

#Disallow:/