第一, 选用64位版本的Linux对称多处理操作系统,以便支持超过4G的内存和多核心CPU。

第二,提高系统网络IO性能。虽然Linux操作系统本身的网络处理能力相对Windows系统表现更好,但要做到千兆级别的网络吞吐还是力不从心。这一点可以通过Smartbits工具得到验证。要支持百万级的用户请求,首先要考虑提高服务器的网络吞吐能力!我们做过实验,通过精简内核协议栈的方法是无法达到要求的,原因很简单,网络接收包和发送包的过程都必须经历多次内核与用户空间的拷贝,这严重占用CPU的处理时间。因此,我们设计采用“零拷贝”技术,利用DMA机制和内存映射技术,实现网络报文在内核空间与用户空间之间的快速传递,这个过程彻底解放了CPU,使得数据收发与业务处理可以并行进行。

   第三,建立用户空间TCP/IP协议栈,建立具有多级快速搜索能力的连接追踪池,以满足百万级用户并发访问的要求。这是性能得以提升的关键所在。如果采用原始的 Linux操作系统,单单打开百万个文件描述符就是个耗时的操作!我们设计仅实现1~7层中必要的协议处理过程,去除原内核中冗余的协议处理过程,实行 “精兵简政”策略。整个协议处理过程采用CPU亲和等手段实现多CPU、多核并行处理,提高多CPU的利用率。

第四,修改WEB应用服务器软件。设计采用开源的Apache服务器,在其基础上增加了对“零拷贝”网络IO的支持、用户请求的多CPU并行处理支持、静态页面临时文件系统存储、内存数据库支持等技术,充分利用“时间局部性原理和空间局部性原理”,显著提升WEB服务器软件的性能。

第五,提升服务器自身安全性。采用用户态协议栈后,我们实现了对网络报文的全面控制,自己解包自己打包,并加入对各种DDos攻击的防御,而且有针对性地对包进行了内容审查,其安全过滤标准远高于单纯的包过滤,完全做到了对业务内容的过滤。这样防火墙设备就显得多余了,毕竟基于应用软件漏洞的入侵才是当前黑客攻击的主要手段!而在这方面,包过滤防火墙基本上无所作为,反倒是一个网络瓶颈!当然,如果防火墙作为负载均衡设备来使用又另当别论。

第六,基于具体的业务应用进行优化。我们对应用系统的优化主要从磁盘IO、数据库访问、业务算法等方面进行。一个精心优化的业务系统,其性能也会得到显著提高。

由于我们采用了上述步骤,我们最终实现了利用一台PC 服务器支持百万WEB用户并行访问的要求。综合来看,我们设计的思路主要是尽量提升系统潜能,通过采取多核并发、网络吞吐优化、业务系统优化等手段,多管齐下来提升系统的整体性能,以求做到用好设备、用精设备的理念,最终达到在满足用户需求的前提下,减少设备投入,节约成本的目的。