WordPress网站robots.txt文件写法的参考案例与模板

前期一篇文章我们讲解到网站robots文件的设置写法，怎么写robot.txt，为什么要写robot.txt，其定义等技术知识，详情参考：网站SEO必会的robots设置 本期我们主要给出robots.txt文件经典的参考案例模板。并对完整的模板案例里面的代码含义进行详细的解读。

一.两套robots.txt文件的模板

1.最快的查看自己网站的robots文件信息方法就是在浏览器中直接输入：http://你的域名/robots.txt，就会显示。明月SEO的WordPress网站robots.txt作为案例模板，浏览器输入：https://www.rrdsyy.com/robots.txt 显示如下内容：

User-agent: *
Disallow: /*.css$
Disallow: /*.php$
Disallow: /*?*
Disallow: /cgi-sys/
Disallow: /img-sys/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed

2.以上是明月SEO根据自己的情况而写，还有更完整的WordPress站点robots.txt文件内容参考案例模板写法如下：

使用方法：新建一个名称为robots.txt文本文件，将上面的内容放进去，然后上传到网站根目录即可。

二.robots.txt文件代码的完整写法以及各个代码的含义

完整代码参考上面的第2套代码。写法代码的含义如下：

1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

用于告诉搜索引擎不要抓取后台程序文件页面。

2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

禁止搜索引擎抓取评论分页等相关链接。

3、Disallow: /category/*/page/和Disallow: /tag/*/page/

禁止搜索引擎抓取收录分类和标签的分页。

4、Disallow: /*/trackback

禁止搜索引擎抓取收录trackback等垃圾信息

5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

禁止搜索引擎抓取收录feed链接，feed只用于订阅本站，与搜索引擎无关。

6、Disallow: /?s=*和Disallow: /*/?s=*\

禁止搜索引擎抓取站内搜索结果

7、Disallow: /*?*(重复动态链接处理优化)

禁止搜索抓取动态页面

产生的原因：

（1）文章分类筛选板块的排列组合会产生很多的动态的重复的链接。  反面案例：兰亭集序一个做外贸的网站， 90W个产品，50W个产品。很大的分类目录，产生了无数的动态链接，然而并没有进行优化处理，后来网站在搜索系挂掉

（2）网站默认每个页面都会有一个动态的页面地址。企业站做了伪静态，一定要配合这个。因为网站程序默认的动态链接也可以打开同一个静态化的网页

重要说明：disallow：/*？* 这只是保守处理优化方法。只是屏蔽，避免重复页面出现，规避了风险，并没有对此类大的问题进行优化。中小网站可以不用再考虑进一步优化，大的网站，很多量级的页面，就需要考虑进一步优化，而不只是屏蔽。

8、Disallow: /attachment/

禁止搜索引擎抓取附件页面，比如毫无意义的图片附件页面。

上面也只是些基本的写法，当然如果你还要深入研究肯定还有很多，不过以上已经够用了。对比以上两套robots.txt的写法，其实明月SEO也是只用了第二套相对系统的写法的一部分而已。

同类推荐：dedecms系统专业robots.txt参考模板和详细的设置方法教程