robots.txt 优化使用

robots.txt文件的功能非常有限,它并不能诱使蜘蛛在你的网站上花费更多的时间或者访问更多的页面。但你可以发挥robots.txt文件的作用来对自己的网站进行一定的优化处理。
阅读全文