经典案例
  • 江西省日威服装有限公司
  • 北京后羿射日酒业
  • 天浪网络
  • 赣州芒果小公馆
  • 赣州中信旅游网
  • 江西益康纸塑工贸有限公司
  • 赣州天合移门
  • 赣州元吉装饰工程有限公司
  • 赣州市登峰农业开发有限公司

各种搜索引擎蜘蛛名称

发布于:2014-10-09 22:50来源:赣州网站优化专栏 作者:tinaweb 点击:
分享到:

下面列出来的是比较出名的搜索引擎蜘蛛名称:
Google的蜘蛛: Googlebot
百度的蜘蛛:baiduspider
Yahoo的蜘蛛:Yahoo Slurp
MSN的蜘蛛:Msnbot
Altavista的蜘蛛:Scooter
Lycos的蜘蛛: Lycos_Spider_(T-Rex) 
Alltheweb的蜘蛛: FAST-WebCrawler/ 
INKTOMI的蜘蛛: Slurp
SOGOU的蜘蛛:Sogou web spider/4.0和Sogou inst spider/4.0

按照以上的说明,我们可以给大案一个示例,以Sogou的来说,禁止抓取的robots.txt代码写法如下:
User-agent: Sogou web spider/4.0
Disallow: /goods.php 
Disallow: /category.php

tag标签:
------分隔线----------------------------
------分隔线----------------------------