• 本帖最后由 janzel 于 2018-11-20 00:42 编辑 *

论坛有人接活吗?写个pyton的爬虫入MYSQL库,
入库的时候需要查询原库有没有这个数据。
数据库是MYSQL的。

具体要求:

支持按单个ID爬,按ID范围爬,或者抓取一个页面里面对应的ID,获取ID,然后开始爬,
爬取一个页面,这个页面是专门获取数据库信息的API接口,把获得的资料入库,其中对比2-3个参数,如果库里存在的。就提示内容存在,不入库,如果是新的MYSQL里面没有的话,就入库,然后从远程抓取一个文件下载到本地,并存放在指定的地方
支持crontab 计划任务执行。

PHP或者 python 都行。

大概需要多少钱?