• 本帖最后由 Kslr 于 2014-3-11 00:01 编辑 *

这几天写出来的程序,一直都很不满意,也推翻了好几个版本,我刚刚上WC时突然又有个想法了,大家看看,给点建议。
先讲讲背景,这个功能是响应 @爱国者捣蛋 的需求设计的

起初第一个版本,我是先统计页码,然后循环采集,但是我测试了一天,性能是个很大的问题,在用户点击搜索的时候,后面需要20~30秒来执行数据采集,太慢了,我觉得没有人会受得了,除非用C写采集,这样环境又纠结了。

然后是第二个版本,我把两个网站的页码同步,我在这边选择第一页,那边就选择第一页采集,选择第二页则采集第二页,然后这个问题在今天晚上也暴露出来了,就是数据的完整性,采集的数据是要录到数据库,然后显示给用户的,但是采集的网站可以使用limit,而我不能,我无法确定有多少会成功录入到数据库,这样就是无法保证稳定。

第三个,也就是我现在的想法,抛弃掉mysql数据库,标签我存到xml文件,我从对方站采集到的信息,直接显示给用户,一方面避免了sql操作,第二则可以保证数据的完整性,数据会被我缓存1个月,甚至3个月,我最初的想法是充实数据库,但是我发现因为**的原因和消耗时间和精力太多,不如单纯的搜索,就比如百度,也不能把数据全放到自己的服务器,对吧,各位意见如何? 我想知道下大家的想法

也可以给我发邮件 [kslrwang@gmail.com](mailto:kslrwang@gmail.com)

![](022.gif)

Up 2014/03/11 0:05

我想到了mysql的事务处理,Codeing... Test....