我最近做了个论坛,发现论坛的地址被蜘蛛重复抓取,这样对论坛的优化是致命的,为解决这个问题,我查了好多资料,最后跪求了一个半分钟就能解决问题的方法,现在分享给大家。。。
通过修改robots.txt把这样的页面屏蔽掉,我们在根目录里找到robots.txt文件,在最后加上Disallow: /?* 这个句即可解决问题。。其他关于这方面的知识,参考http://www.fwqlt.com
共有 1 条评论,登录后可见