当前位置:主页 > 优化资讯 > 行业信息 >

SEO优化如何正确写书robots协议?

发表日期:2019-09-02 17:35文章作者:_猫叔浏览次数: 标签: SEO优化    

  SEO优化如何正确写书robots协议?做网站优化,每个站点都会有相应的robots协议文件,那么这个文件是干什么?有多少人知道。有没有robots对我们的网站有什么样的的一个影响,这个又有多少人关注过,今天优化优化就在这里给大家普及一下什么是robots协议。以及是为什么他要叫robots协议。
 
  robots.txt 是网站和搜索引擎的协议的纯文本文件。当一个搜索引擎蜘蛛来访问站点时,它首先爬行来检查该站点根目录下是否存在robots.txt,如果存在,根据文件内容来确定访问范围,如果没有,蜘蛛就沿着链接抓取。robots.txt 放在项目的根目录下。
 
SEO优化如何正确写书robots协议
  robots.txt语法:
 
  1) 允许所有搜索引擎访问网站的所有部分
 
  robots.txt写法如下:
 
  User-agent: *
  Disallow:
 
  或者
 
  User-agent: *
  Allow: /
 
  注意: 1. 第一个英文要大写,冒号是英文状态下,冒号后面有一个空格,这几点一定不能写错。
 
  2) 禁止所有搜索引擎访问网站的所有部分
 
  robots.txt写法如下:
 
  User-agent: *
  Disallow: /
 
  3) 只需要禁止蜘蛛访问某个目录,比如禁止admin、css、images等目录被索引
 
  robots.txt写法如下:
 
  User-agent: *
  Disallow: /css/
  Disallow: /admin/
  Disallow: /images/
 
  注意:路径后面有斜杠和没有斜杠的区别:
 
  比如Disallow: /images/ 有斜杠是禁止抓取images整个文件夹,Disallow: /images 没有斜杠意思是凡是路径里面有/images关键词的都会被屏蔽。
 
  SEO优化如何正确写书robots协议。robots协议就是一个用来保护我们网站的文件,他是我们网站的第一道保护。有了它就可以对我们的网站网站里面一些不希望别人看到的一些文件进行一个权限的阻碍,优加猫叔提醒大家:对我们网站的robots重视起来,网站基础文件的缺失对我们对于搜索引擎的的抓取和效率都是一件不好的事情。所以我们网站做优化都应该重视起robots对我们网站的一个重要性。
相关新闻

SEO优化如何把握未来的趋势

  SEO优化如何把握未来的趋势。很多人认为如今的seo已经死了一半,百度不断地再更新新的...

日期:2019-09-27 浏览次数:96

SEO优化静态页面和动态页面区别

  SEO优化静态页面和动态页面区别。大多数了解seo的站长一定推荐网站静态化优化,那么对...

日期:2019-09-23 浏览次数:93

网站seo优化之标签的重要性

  网站seo优化之标签的重要性。提及网站基础站内优化方面,很多朋友自然会想到成程序、...

日期:2019-09-23 浏览次数:70

网站SEO新站上线如何让百度信任?

  网站SEO新站上线如何让百度信任?很多站长在进行新站上线之前都会进行诸多方面的调整...

日期:2019-09-02 浏览次数:201

百度下拉优化和SEO优化词的区别

  百度下拉优化和SEO优化词的区别。在互联网营销时代,企业在针对推广有了更多的选择,...

日期:2019-08-26 浏览次数:123

做好企业网站排名有哪些基础SEO优化?

  做好企业网站排名有哪些基础SEO优化?了解优化当然很多企业都会有seo专员,SEO优化是需...

日期:2019-08-26 浏览次数:146