新版的DHT爬虫先放弄上来,大家看看
12315
- 带头盔滴衰锅2015-05-07金牌会员74184
新版爬虫多开server,几个server一起执行,应该能加快效率,这个有待测试~
同时增加了入库功能,每十分钟执行一次,所以可能看到爬虫已经爬到很多HASH了,但是数据库里还是没有,这是因为没有入库的原因~
入库使用exec执行wget下载种子,然后导入数据库,具体如何大家看看吧,在导航栏里有个爬虫运行状态,大家可以看到爬虫抓取结果。
这个运行状态是每次获取到infohash后更新一次,不是实时更新的