当前位置:主页 > 优化资讯 > 行业信息 >

SEO优化如何正确写书robots协议?

发表日期:2019-09-02 17:35文章作者:_猫叔浏览次数: 标签: SEO优化    

  SEO优化如何正确写书robots协议?做网站优化,每个站点都会有相应的robots协议文件,那么这个文件是干什么?有多少人知道。有没有robots对我们的网站有什么样的的一个影响,这个又有多少人关注过,今天优化优化就在这里给大家普及一下什么是robots协议。以及是为什么他要叫robots协议。
 
  robots.txt 是网站和搜索引擎的协议的纯文本文件。当一个搜索引擎蜘蛛来访问站点时,它首先爬行来检查该站点根目录下是否存在robots.txt,如果存在,根据文件内容来确定访问范围,如果没有,蜘蛛就沿着链接抓取。robots.txt 放在项目的根目录下。
 
SEO优化如何正确写书robots协议
  robots.txt语法:
 
  1) 允许所有搜索引擎访问网站的所有部分
 
  robots.txt写法如下:
 
  User-agent: *
  Disallow:
 
  或者
 
  User-agent: *
  Allow: /
 
  注意: 1. 第一个英文要大写,冒号是英文状态下,冒号后面有一个空格,这几点一定不能写错。
 
  2) 禁止所有搜索引擎访问网站的所有部分
 
  robots.txt写法如下:
 
  User-agent: *
  Disallow: /
 
  3) 只需要禁止蜘蛛访问某个目录,比如禁止admin、css、images等目录被索引
 
  robots.txt写法如下:
 
  User-agent: *
  Disallow: /css/
  Disallow: /admin/
  Disallow: /images/
 
  注意:路径后面有斜杠和没有斜杠的区别:
 
  比如Disallow: /images/ 有斜杠是禁止抓取images整个文件夹,Disallow: /images 没有斜杠意思是凡是路径里面有/images关键词的都会被屏蔽。
 
  SEO优化如何正确写书robots协议。robots协议就是一个用来保护我们网站的文件,他是我们网站的第一道保护。有了它就可以对我们的网站网站里面一些不希望别人看到的一些文件进行一个权限的阻碍,优加猫叔提醒大家:对我们网站的robots重视起来,网站基础文件的缺失对我们对于搜索引擎的的抓取和效率都是一件不好的事情。所以我们网站做优化都应该重视起robots对我们网站的一个重要性。
相关新闻

什么是网站TDK,一般要怎么设置?

什么是网站TDK,一般要怎么设置?上海霸屏网络指出:TDK是指网站html语言的的Title、Description、...

日期:2021-10-11 浏览次数:151

如何对网站关键词进行SEO优化

如何对网站关键词进行SEO优化?上海霸屏网络科技公司指出:对于SEO小白来说,每天不是在这里...

日期:2021-09-18 浏览次数:120

企业为什么要建立网站做网络优化营销

企业为什么要建立网站做网络优化营销?由于互联网的不断开放,越来越多的企业看到了商机,...

日期:2021-08-30 浏览次数:212

企业网站优化营销如何设置关键词

企业网站优化营销如何设置关键词?网络营销已经成为许多企业需求优先考虑的营销途径,但关...

日期:2021-04-10 浏览次数:122

企业搭建网站的一些注意事项

是为了树立企业品牌,宣扬产品,仍是树立职业性的网站;是企业的根本需求仍是商场开辟的延...

日期:2021-04-10 浏览次数:215

短视频优化技巧有哪些

短视频优化技巧有哪些?短视频的优化技巧有很多,在拍摄过程中,后期除了可以选择滤镜和美...

日期:2021-03-25 浏览次数:187