话说重量级采集-发布系统正在努力生产中,
当前进展:
单机采集已完善,支持代理池/高速下载器/高速下载器(浏览器内核)/网页解析器(xpath、正则、css query)/发布器(excel/mysql/mongodb/)/反爬虫
已应用:
淘宝商场采集 速卖通 一些行业网站 Ebay
已采集数量:400w
剩余工作: 完成分布式化
来个预览图
49729
系统取名Gather(收集的意思), 咱得顺便注册个域名呀。那么问题来了。。。
大家给出谋划策下。。。。 域名主体肯定要 有gather
共有 57 条评论,登录后可见