SEO教程之网站robots.txt文件说明与写法分析

 Rinck林克博客   2017-11-07 23:34   779 人阅读  0 条评论
在这里,你总能找到合你品味的内容-Rinck林克博客

 

本文所涉及到内容是作为SEO教程来使用仅供大家参考同时也希望能够起到一点小小的帮助,首先要介绍的是网站robots.txt文件相关知识的简单说明,其次就是讲讲具体的运用和写法分析,最后来总结下它的实用性和重要性。因为本人之前也为此迷糊过没有设置好参数,导致网站的不重要及不对外放开链接被抓取,这样的结果会造成网站整体权重过于分散得不到集中体现。不过还好有先前知道这部分的问题以及学习更改添加参数,完善抓取目录与路径的布置才能够使得让现在该站点收录链接是正常状态。

SEO教程之网站robots.txt文件说明与写法分析图

robots.txt文件说明:它就想类似和搜索引擎之间签订的一种协议,遵守内部所设置好的参数规则这样才能让页面更好的被抓取。当某个搜索引擎的蜘蛛来抓取一个从未来过的新站时,第一步就是先去访问根目录下该文件是否存在,假如有那么就会根据指定的范围来进行访问。如果不存在那么所有搜索引擎蜘蛛在抓取时,将毫无保留的大展拳脚把拥有价值且可读性的内容收入囊中。

 

SEO教程Robots.txt文件写法分析:经常会使用到的几个命令有User-agent、Allow、Disallow、sitemap等,User-agent是指搜索引擎蜘蛛的名称可以特定设置个别或者全部,Allow是指允许希望被访问的文件或目录地址,Disallow是指不允许不希望被访问抓取的文件或目录地址,sitemap是指网站地图具体的详细路径提供给蜘蛛方便快速抓取。我们也可以通过看其它站点的该文件进行了解会发现通常写法都是User-agent在首行,其次才是Allow剩下是Dsallow以及sitemap这就是顺序的讲究。还有很多的参数写法例如/代表的是目录字符,*代表的是任意的其它字符名称,$代表的是此字符前所有后缀名的结束符(如/*.php$写法意思是包含全部的php后缀名文件)。

 

接下来我们简单的举个书写例子需要先在桌面建立一个txt文档打开之后可以根据以下方式来寻找设置网站的robots.txt文件。

首行:User-agent:空格*(意思是针对所有搜索引擎蜘蛛协议)特殊要求可将*改为指定蜘蛛名称。

接着:Allow:空格/*.jpg$(意思是允许所有蜘蛛访问抓取以jpg后缀的图片文件)还可以按照个人喜好设置更多。

然后:Disallow:空格/admin/(意思是不允许所有蜘蛛访问抓取管理目录下的内容)具体有哪些不想被访问的目录名称可自行查找主机或服务器中的来设定。

最后:sitemap:空格填写带上http的详细网站地图路径,一切都完成保存上传根目录。

 

以上就是一些有关于SEO教程中robots.txt文件协议的简单说明与写法分析,其实博主觉得这点对于网站来讲很重要希望可以大家仔细填写,同时在写完以后可到百度搜索资源平台中检测,貌似具个人了解好像只有百度一家有这个抓取是否允许检测功能在这为其点个赞。好了今天就说到这里只是提供一点小小的参考性作用,如果有什么不对的地方可以在留言栏目指正谢谢各位!

本文地址:http://www.rinck.cn/86.html
版权声明:本文为原创文章,版权归 Rinck林克博客 所有,欢迎分享本文,转载请保留出处!
创新就是生活-Rinck林克博客
承载希望,放飞梦想-Rinck林克博客

评论已关闭!