设为首页|加入收藏|网站地图|RSS
请选择搜索分类 新闻 留学 专题

robots写法说明教程

发布时间:2014-11-05 18:23 来源:SEO评测网字号:T|T

  robots协议能够保护我们的一些文件不暴露在搜索引擎之下,从而有效的控制蜘蛛的爬取路径,为我们站长做好seo创造必要的条件。尤其是我们的网站刚刚创建,有些内容还不完善,暂时还不想被搜索引擎收录时。

  robots.txt文件是网站的一个纯文本文件,它是给搜索引擎蜘蛛看的。搜索引擎蜘蛛爬行道我们的网站首先就是抓取这个文件,根据里面的内容来决定对网站文件访问的范围。

  robots.txt文件应该放在网站根目录下。

  在一个站点上只能有一个"/robots.txt"文件,而且文件名的每个字母要求全部是小写。

  robots.txt文件用法举例

  例1.禁止所有搜索引擎访问网站的任何部分

  下载该robots.txt文件User-agent:*

  Disallow:/

  例2.允许所有的robot访问

  (或者也可以建一个空文件"/robots.txt"file)

  User-agent:*

  Disallow:

  例3.禁止某个搜索引擎的访问

  User-agent:BadBot

  Disallow:/

  例4.允许某个搜索引擎的访问

  User-agent:baiduspider

  Disallow:

  User-agent:*

  Disallow:/

  一个简单例子

  在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即搜索引擎不会访问这三个目录。

  需要注意的是对每一个目录必须分开声明,而不要写成"Disallow:/cgi-bin//tmp/"。

  User-agent:后的*具有特殊的含义,代表"anyrobot",所以在该文件中不能有"Disallow:

  /tmp/*"or"Disallow:*.gif"这样的记录出现.

  User-agent:*

  Disallow:/cgi-bin/

  Disallow:/tmp/

  Disallow:/~joe/

图库

更多

网友评论

排行

点击 评论 关注