专注于网站建设和搭建网络营销体系
商视互联,北京做网站公司
北京做网站,商视互联 您的位置:网站首页 > 商视动态 > 网站优化 > 正文
Robots和nofollow操作(二)
作者:商视互联   来源:原创   日期:2011/12/5 23:18:12   热度:℃   [ 标签:Robots和nofollow操作 ]

1、nofollow和robots.txt 错误认识。
  Robots:禁止收录、允许收录
  Nofollow:不是屏蔽某个网址的收录,搜索引擎还是有可能会被收录。禁止权重的传递。rel=”nofollow” 蜘蛛会去抓取这个网址,但不计算权重。先抓取,后投票
  计算权重和爬取不是同时的,马上爬取,统计下来,不会放入外链统计。没加Nofollow的链接可以统计下来,
  Robots和nofollow他们之间不可代替,
  Nofollow做多了既没有好处,也没有坏处。不会给你排名的好处。
  对搜索引擎有好处,对用户到搜索引擎找寻信息也有好处,对站长没有好处也没有坏处
  页面的权重是他们的外链和内链对于他们的链接影响的
  Nofollow减低了这个链接的权重输出值,对百度来说不确定。
  Nofollow对百度来说减少垃圾链接对于排名的影响,排名的公正性就会越高。博客评论都有 nofollow
  robots.txt的操作
  2、如何建立robots.txt(用FTP传到根目录。)
  会预示一个问题。404 状态码 (搜索引擎会默认进行爬取)
  3、robots.txt有那些常见的误区和误会。
  1)我们把他当初命令了。(以及网站的纯净。)
  2)隐私协议(只是一个协议而已。协议并不是马上生效。还在那里收录,24小?#26412;?#29983;效并不是24小时。最长时间是1个月。)
  3)尽量不要去用robots.txt去全站禁止网站收录。(网站还没有做好,不想要蜘蛛爬取。)
  网站没有做好之前不要用robots.txt解决方法:
  (1)只要不发链接就行了。
  (2)三级域名也行。
  4、404页面到底需不需要屏蔽。
  屏蔽他有没有意义?
  404分类(1、站内存在。2、/屏蔽目录/)
  5、robots.txt 语法
  #
  # robots.txt for Discuz! X2
  #
  #是注释的意思
  User-agent:是定义搜索引擎的(User-agent: (你要对谁负责))
  User-agent: *是对所有搜索引擎负责
  googles机器人:googlebot   百度蜘蛛:baiduspider   yahoo蜘蛛:Yahoo!slurp   alexa蜘蛛:ia_archiver   bing蜘蛛:MSNbot   altavista蜘蛛:scooter   lycos蜘蛛:lycos_spider_(t-rex)   alltheweb蜘蛛:fast-webcrawler
  Disallow是禁止的意思
  User-agent: /baiduspider
  disallow: /(禁止百度抓取我们整个网站。)
  disallow: /admin/(在/admin/这个目录下面,我们不知道有多少路径,但是我们知道了除了以下需要抓取外/app/  admin.php   index.php  其他都要屏蔽掉。?)
  User-agent: *
  Disallow: /admin/
  Allow: /admin/app/
  Allow: /admin/admin.php
  Allow: /admin/index.php
  Allow 是允许的意思
  第五个语法运用阶段。
  /admin/与/admin之间的区别
  User-agent: *
  Disallow: /admin/
  # 这个是指屏蔽了admin 文件夹的收录
  User-agent: *
  Disallow: /admin
  # 这个不仅仅是屏蔽了admin这个文件夹的收录,还屏蔽了这个网站所有以admin开头的文件和路径都会屏蔽。
  6,通配符($与*之前的区别)
  $ 是结束符(所有以他结尾的都能够进行匹配。)
  * 批量匹配符(代表0)
  .php$  这个代码的意思就是所有以 .php结束的路径他全部能够代表。
  .jpg$ 这个代码的意思就是所有以 .jpg结束的?#35745;?#20182;全部能够代表。(Disallow: /*.jpg$)
  Allow: /*.jpg$
  禁止一定要起始符.允许不需要起始符
  User-agent: *
  Disallow:这是允许抓取所有内容
  Allow: .htm$与Allow: /*.htm$这两种语法的意思是一样的
  Disallow: /*.htm$与Disallow: .htm$这两种的语法意思是不一样的
  北京网站建设推荐阅读:未来网络营销发展趋势如何

本文由北京做网站整理,转载请注明:商视互联 地址:http://www.boe4u.com/


本文网址:
相关阅读:
  • 没有资料
更多

切尔西欧联夺冠整容
163老时时 黑龙江6+1开奖走势图 体彩走势图框架 赛车计划2视角 三分彩是正规国家的吗 新时时彩与老时时彩 捕鸟达人官方版 北京时时赛车记录 河北时时开奖结果 看吉林十一选五走势 急速赛app 1914531选7开奖结果 怎么揭穿彩票托的套路 吉林时时贴吧 现金棋牌评测网 江西时时事件结果