robots协议,相信进本上只要做seo的站长都知道他的作用,即使刚入行的SEO新手也是有耳闻的。但是对于SEO小白来说,只听过这种协议,但是具体的操作就非常少了。今天就来讲一下robots.txt文件的设置。
什么是robots.txt文件协议
robots.txt文件协议即搜索引擎爬虫协议,它是搜索引擎爬虫与网站站爬取之间的沟通文件。网站站点通过robots文件告知搜索引擎哪些文件可以让搜索引擎抓取,哪些则是不能让搜索引擎抓取的。
robots.txt文件的存放位置
通常,网站的robots.txt文件放置在网站根目录下,也就是在www的文件中,这是第一时间告诉搜索引擎抓取网站的那些内容链接,便于搜索引擎爬虫第一时间抓取该文件。一般新手站长需要重视robots.txt文件的使用规则。
robots协议规则内容总结如下:
1、禁止所有搜索引擎爬虫访问网站的任何内容
User-agent: *
Disallow: /
2、允许所有搜索引擎爬虫访问网站的任何内容
User-agent: *
Allow: /
3、仅禁止baidu搜索引擎爬虫访问网站的任何内容
User-agent: Baiduspider
Disallow: /
总结:robots.txt文件设置非常简单,同时里面还要放置网站地图,这样就非常完没了,如果新手不会使用的话,可以现在本体建一个txt的文档,然后再复制规则,最后上传到空间根目录这样也挺方便的。