欢迎访问 浙江seo培训教程_seo轻松上手学习优化技术教程(www.taobaoehd.com)

网站地图 | 伪原创工具
    浙江江航SEO--用心做好每一个站!

当前位置:主页 > SEO技术 >

【robots.txt怎么写】Robots.txt写法和放在哪里详解

日期:2019-05-28 分类:SEO技术

  【robots.txt怎么写】Robots.txt写法和放在哪里详解


  1、什么是Robots,熟练掌握Robots的基础语法,写出你对本节课的理解


  Robots是指网站与搜索引擎之间的协议,下列三小点是需要自己记住的:


  1.Robots是存放在网站根目录


  2.Robots.txt是放在网站根目录


  3.robots.txt文件名是不可修改的


  4.Robots也是百度蜘蛛第一先抓取的


  2、robots形式及定义:


  User-agent:Baiduspider(定义所有的百度蜘蛛)


  Disallow:/


  User-agent:定义所有的蜘蛛


  Baiduspider:百度蜘蛛


  Googlebot:谷歌机器人


  MSNBot:msn机器


  Baiduspider-image:百度图片


  Disallow:定义那些文件可以抓取,那些文件不可以抓取


  Allow:允许


  小结:网站优化必须要有robots,robots格式区分大小的,区分大小写格式为:Disallow首字母必须是大写的,在本地新建记事本编辑时需要注意的是:输入法中文要切换成英文,例如:


  同时需要注意的是:在编辑时Disallow:/要空一格如下图所示


  *:定义所有的蜘蛛通配符


  /:通配符拒绝百度蜘蛛访问访问网站根目录的文件,就是全部的意思


  Robots生效时间是多少,是由百度决定的,有可能是1个月或者2个月


  附注:放行也是需要生效时间的


  $:结束符


  附注:同时也需要注意的是,网站动态的路径也要用robots进行屏蔽,在这个前提需要做的是,要了解每个文件下的数据是用来做什么用的,代表什么意思,自己下面也知道如何运用robots进行操作。对robots还是不能理解的,可以点击我的博客:


  <divclass="blockcode"><blockquote><ahref="">SEO研究中心之robots的制作和特殊符号含义</a>


  复制代码


  。


  备注:


  Disallow:/data(一个是文件夹、一个是目录)禁止以data开头的文件或文件夹/data.html/dataaaa.html/data/aaa.html根目录下的文件是不能访问的


  Disallow:/data/(拒绝目录的)禁止文件夹/data/aaa.html能访问/data.html/dataaaa.html


  2、为你在基础操作的网站加上robots


  User-agent:*(定义所有的蜘蛛)


  Disallow:/plus/ad_js.php(拒绝目录/plus/能访问ad_js.php)


  Disallow:/plus/advancedsearch.php


  Disallow:/plus/car.php


  Disallow:/plus/carbuyaction.php


  Disallow:/plus/shops_buyaction.php


  Disallow:/plus/erraddsave.php


  Disallow:/plus/posttocar.php


  Disallow:/plus/disdls.php


  Disallow:/plus/feedback_js.php


  Disallow:/plus/mytag_js.php


  Disallow:/plus/rss.php


  Disallow:/plus/search.php


  Disallow:/plus/recommend.php


  Disallow:/plus/stow.php


  Disallow:/plus/count.php


  Disallow:/include


  Disallow:/templets

【robots.txt怎么写】Robots.txt写法和放在哪里详解

关键词: robots.txt,怎么,Robots.txt,写法,在哪
blogger

联系方式

    seo微信

    咨询热线①:13924653475

    咨询热线②:15361814016

    销售热线①:18138295927

    销售热线②:15361814538

博客统计

  • 共有文章:5563篇
  • 文章阅读:696801人次
  • 今日更新:篇
浙江SEO优化平台专业专注SEO网站优化技术,关键词排名优化,整站优化等快速上首页,迅速提升网站上首页排名,seo优化平台技术轻松搞定「江航SEO」
sitemap地图 | 在线投稿

信用卡

危机

网络危机

顺时科技

济南公关

成都公关

红警公关

QQ
QQ在线咨询
SEO优化热线
139-2465-3483
手机扫一扫 与博主直接沟通