专注于网站建设和搭建网络营销体系
商视互联,北京做网站公司
北京做网站,商视互联 您的位置:网站首页 > 商视动态 > 网站优化 > 正文
Robots和nofollow操作(一)
作者:商视互联   来源:原创   日期:2011/12/5 23:19:53   热度:℃   [ 标签:Robots和nofollow操作 ]

alltheweb蜘蛛:fast-webcrawler
  * 表明所有的搜索引擎
  Disallow: (禁止)
  / 代表根目录
  User-agent: *
  Disallow: / 禁止所有搜索引擎收录
  Allow: 我们不禁止默认就是允许。当某个文件夹不知道有多少个文件同时大部分?#22841;?#35201;屏蔽,极少部分的要允许。
  在/admin/这个目录下面,我们不知道有多少路径,但是我们知道了除了以下需要抓取外/app/ admin.php index.php 其他都要屏蔽掉。
  User-agent: *
  Disallow: /admin/
  Allow: /admin/app/
  Allow: /admin/admin.php
  Allow: /admin/index.php
  第五个语法运用阶段。
  /admin/ 和/admin 有什么不一样
  User-agent: *
  Disallow: /admin/ 屏蔽了admin文件夹的收录
  User-agent: *
  Disallow: /admin 屏蔽了
  他有什么区别?
  User-agent: *
  Disallow: /admin/
  # 这个
  User-agent: *
  Disallow: /admin/
  # 这个是指屏蔽了admin 文件夹的收录
  User-agent: *
  Disallow: /admin
  # 这个不仅仅是屏蔽了admin这个文件夹的收录,还屏蔽了这个网站所有以admin开头的文件和路径都会屏蔽。
  通配符
  $是结束符,所有以他结尾的都能够进行匹配。.php$ 这个代码的意思就是所有以 .php结束的路径他全部能够代表。
  *批量匹配符,表示为空,或者多个?#25105;?#23383;符,各有运用不一样。
  Disallow: /*.jpg$ 禁止全站?#35745;?#25235;取。
  允许 jpg 抓取
  禁止一定要有起始符,允许不需要有起始符。
  禁止有歧义、允许没有歧义,我们不禁止的就默认为允许的。
  Disallow: /*.htm$
  Disallow: .htm$ 两种语法完全不一样。
  北京网站建设推荐阅读:网站哪些因素影响排名

 本文由北京做网站整理,转载请注明:商视互联 地址:http://www.boe4u.com/


本文网址:
更多

切尔西欧联夺冠整容
11选五黑彩投注平台中奖规则 福建时时 如何看懂时时彩走势图 赛车pk盛世 重庆时时彩改为20分钟 如何看懂五分彩走势图怎么看 四川时时彩开奖号码查询 云南时时历史开奖记录查询表 王者捕鱼怎样才能赢钱 时时龙虎 福利彩票2月18日开奖结果 mg电子游戏必输 河北时时结果 体云南时时开奖结果 体彩湖北11选5开奖结果 内蒙古十一选五近期冷号