- 小伦2011-07-29中级会员18505
遇到一个很郁闷的问题,一个网站,GG收录很给力,基本是秒收,但是百度就是不收录,1年了,就收录了一个主页
但是他的爬虫24小时在我的网站上爬,光爬虫都走了1G的流量
是什么问题啊?
万能的hostloc,请给我答案吧!!
下面是爬虫记录
18 个机器人* 文件数 字节 最近参观日期
BaiDuSpider 71786+8 1.01 G字节 2011年 7 月 29日 13:36
Googlebot 10535+15 119.61 M字节 2011年 7 月 29日 13:36