统计各种搜索引擎的ip, 其他ip指定时间段限制抓取页面数量,平均单页访问时间小于特定时间,超过一定数量就办ip1个小时,24小时连续办三次就办12小时,依次累加。这样爬个大站是不是成本就很大了?
共有 19 条评论,登录后可见