统计各种搜索引擎的ip, 其他ip指定时间段限制抓取页面数量,平均单页访问时间小于特定时间,超过一定数量就办ip1个小时,24小时连续办三次就办12小时,依次累加。
这样爬个大站是不是成本就很大了?