• 本帖最后由 joyanhui 于 2012-12-20 10:08 编辑 *

对方网站内容地址 http://www.123.com/show.asp?id=1 一直到 http://www.123.com/show.asp?id=500000

所以我直接无视他的列表页,直接从内容获取分类,然后打算花直接从id=1 跑到id=50W。

我在火车头里面 添加了采集网址规则 从1-500000 步进是1- 成功采集网址并保存到数据库中:http://www.123.com/show.asp?id=3024

虽然vps上挂机跑的,不费电,但是浪费时间。。。。求加速!!我不想到世界末日还没有添加完网址。

======================================================
刚刚发完帖子想起来,50万个地址 分成了10分,一份5万,一边采集 一边生成内容页地址,慢慢跑吧