当搜索引擎来抓取你的网站文件之前，它们会先来看看你网站的robots.txt文件的设置，以了解你所允许它抓取的范围，包括哪些文件，哪些目录。那么如何配置您的robots.txt文件...
robots.txt 优化使用
robots.txt文件的功能非常有限，它并不能诱使蜘蛛在你的网站上花费更多的时间或者访问更多的页面。但你可以发挥robots.txt文件的作用来对自己的网站进行一定的优化处理。
WordPress SEO 之 Robots.txt优化篇
由于链接的的指向，而导致网站内容重复，一直是网站SEO的大忌。不同的链接指向同一个网页，就会被搜索引擎判定为作弊。昨天提到的WordPress重定向插件，在一定意义上也是为了阻止重...
51.com被“封”事件后续
上次发布了51被封文章后，引起了很多人的热烈回应，大家也借机指出了51.com存在的大量搜索引擎友好性方面的错误。随着事件深入分析，各位细心的网友发现了更多问题，以致直接怀疑51....
51.com的robots.txt有错吗？
51.com的robots.txt有错吗？要我们拭目以待！ 分析出真知！