零基础入门到精通

robots.txt文件有什么作用?(网站robots.txt文件设置)

robots协议,相信进本上只要做seo的站长都知道他的作用,即使刚入行的SEO新手也是有耳闻的。但是对于SEO小白来说,只听过这种协议,但是具体的操作就非常少了。今天就来讲一下robots.txt文件的设置。

网站robots.txt文件设置

什么是robots.txt文件协议

robots.txt文件协议即搜索引擎爬虫协议,它是搜索引擎爬虫与网站站爬取之间的沟通文件。网站站点通过robots文件告知搜索引擎哪些文件可以让搜索引擎抓取,哪些则是不能让搜索引擎抓取的。

robots.txt文件的存放位置

通常,网站的robots.txt文件放置在网站根目录下,也就是在www的文件中,这是第一时间告诉搜索引擎抓取网站的那些内容链接,便于搜索引擎爬虫第一时间抓取该文件。一般新手站长需要重视robots.txt文件的使用规则。

robots协议规则内容总结如下:

1、禁止所有搜索引擎爬虫访问网站的任何内容

User-agent: *

Disallow: /

2、允许所有搜索引擎爬虫访问网站的任何内容

User-agent: *

Allow: /

3、仅禁止baidu搜索引擎爬虫访问网站的任何内容

User-agent: Baiduspider

Disallow: /

总结:robots.txt文件设置非常简单,同时里面还要放置网站地图,这样就非常完没了,如果新手不会使用的话,可以现在本体建一个txt的文档,然后再复制规则,最后上传到空间根目录这样也挺方便的。

版权声明

以上文章中所选用的图片及文字来源于网络以及用户投稿,版权归原作者所有,对此本站均没有商业用途,仅供学习与交流;本站不负任何责任! 由于未联系到知识产权人或未发现有关知识产权的登记,如有知识产权人并不愿意我们使用, 如果有侵权请立即联系QQ:823124280,我们立即下架或删除。