- joyanhui2012-12-20金牌会员37158
- 本帖最后由 joyanhui 于 2012-12-20 10:08 编辑 *
对方网站内容地址 http://www.123.com/show.asp?id=1 一直到 http://www.123.com/show.asp?id=500000
所以我直接无视他的列表页,直接从内容获取分类,然后打算花直接从id=1 跑到id=50W。
我在火车头里面 添加了采集网址规则 从1-500000 步进是1- 成功采集网址并保存到数据库中:http://www.123.com/show.asp?id=3024
- 成功采集网址并保存到数据库中:http://www.123.com/show.asp?id=3025
- 成功采集网址并保存到数据库中:http://www.123.com/show.asp?id=3026
- 成功采集网址并保存到数据库中:http://www.123.com/show.asp?id=3027
- 成功采集网址并保存到数据库中:http://www.123.com/show.asp?id=3028
- 成功采集网址并保存到数据库中:http://www.123.com/show.asp?id=3029复制代码但是 它竟然4-5秒才保存一次,而且一次只添加20个左右。到现在才添加了3000多个。。。。
虽然vps上挂机跑的,不费电,但是浪费时间。。。。求加速!!我不想到世界末日还没有添加完网址。
======================================================
刚刚发完帖子想起来,50万个地址 分成了10分,一份5万,一边采集 一边生成内容页地址,慢慢跑吧