前期一篇文章我们讲解到网站robots文件的设置写法,怎么写robot.txt,为什么要写robot.txt,其定义等技术知识,详情参考:网站SEO必会的robots设置 本期我们主要给出robots.txt文件经典的参考案例模板。并对完整的模板案例里面的代码含义进行详细的解读。
一.两套robots.txt文件的模板
1.最快的查看自己网站的robots文件信息方法就是在浏览器中直接输入:http://你的域名/robots.txt,就会显示。明月SEO的WordPress网站robots.txt作为案例模板,浏览器输入:https://www.rrdsyy.com/robots.txt 显示如下内容:
User-agent: * Disallow: /*.css$ Disallow: /*.php$ Disallow: /*?* Disallow: /cgi-sys/ Disallow: /img-sys/ Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-includes/ Disallow: /*/trackback Disallow: /feed Disallow: /*/feed Disallow: /comments/feed
2.以上是明月SEO根据自己的情况而写,还有更完整的WordPress站点robots.txt文件内容参考案例模板写法如下:
- User-agent: *
- Disallow: /wp-admin/
- Disallow: /wp-content/
- Disallow: /wp-includes/
- Disallow: /*/comment-page-*
- Disallow: /*?replytocom=*
- Disallow: /category/*/page/
- Disallow: /tag/*/page/
- Disallow: /*/trackback
- Disallow: /feed
- Disallow: /*/feed
- Disallow: /comments/feed
- Disallow: /?s=*
- Disallow: /*/?s=*\
- Disallow: /*?*
- Disallow: /attachment/
使用方法:新建一个名称为robots.txt文本文件,将上面的内容放进去,然后上传到网站根目录即可。
二.robots.txt文件代码的完整写法以及各个代码的含义
完整代码参考上面的第2套代码。写法代码的含义如下:
1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/
用于告诉搜索引擎不要抓取后台程序文件页面。
2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*
禁止搜索引擎抓取评论分页等相关链接。
3、Disallow: /category/*/page/和Disallow: /tag/*/page/
禁止搜索引擎抓取收录分类和标签的分页。
4、Disallow: /*/trackback
禁止搜索引擎抓取收录trackback等垃圾信息
5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed
禁止搜索引擎抓取收录feed链接,feed只用于订阅本站,与搜索引擎无关。
6、Disallow: /?s=*和Disallow: /*/?s=*\
禁止搜索引擎抓取站内搜索结果
7、Disallow: /*?*(重复动态链接处理优化)
禁止搜索抓取动态页面
产生的原因:
(1)文章分类筛选板块的排列组合会产生很多的动态的重复的链接。 反面案例:兰亭集序一个做外贸的网站, 90W个产品,50W个产品。很大的分类目录,产生了无数的动态链接,然而并没有进行优化处理,后来网站在搜索系挂掉
(2)网站默认每个页面都会有一个动态的页面地址。企业站做了伪静态,一定要配合这个。因为网站程序默认的动态链接也可以打开同一个静态化的网页
重要说明:disallow:/*?* 这只是保守处理优化方法。只是屏蔽,避免重复页面出现,规避了风险,并没有对此类大的问题进行优化。中小网站可以不用再考虑进一步优化,大的网站,很多量级的页面,就需要考虑进一步优化,而不只是屏蔽。
8、Disallow: /attachment/
禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。
上面也只是些基本的写法,当然如果你还要深入研究肯定还有很多,不过以上已经够用了。对比以上两套robots.txt的写法,其实明月SEO也是只用了第二套相对系统的写法的一部分而已。
关注我们:请关注一下我们的微信公众号:扫描二维码 号名称暂无
版权声明:本文为原创文章,版权归 明月SEO 所有,欢迎分享本文,转载请保留出处!