使用cname指向的CDN,访问CDN域名网站会和访问主站一样,但我只是加速静态文件!没想到百度这SB,居然顺着静态文件的CDN地址爬取,收录了CDN页面,而且比www域名站更新都快,一站多域,显然影响正常网站的权重,请教各位MJJ如何屏蔽蜘蛛抓取CDN站,别说页内php判断来路输出屏蔽meta,这法子太low,求个良策!!!CDN用的是netdepot,服务商那里好像改不了,怎么办?
共有 2 条评论,登录后可见