Http长连接200万尝试及调优

2014年10月10日 没有评论

对于一个server,我们一般考虑他所能支撑的qps,但有那么一种应用,我们需要关注的是它能支撑的连接数个数,而并非qps,当然qps也是我们需要考虑的性能点之一。这种应用常见于消息推送系统,也称为comet应用,比如聊天室或即时消息推送系统等。comet应用具体可见我之前的介绍,在此不多讲。对于这类系统,因为很多消息需要到产生时才推送给客户端,所以当没有消息产生时,就需要hold住客户端的连接,这样,当有大量的客户端时,就需要hold住大量的连接,这种连接我们称为长连接。

首先,我们分析一下,对于这类服务,需消耗的系统资源有:cpu、网络、内存。所以,想让系统性能达到最佳,我们先找[......]

Read more

分类: 平台架构 标签:

Linux下高并发socket最大连接数所受的各种限制

2014年10月9日 没有评论

一、修改用户进程可打开文件数限制

在Linux平台上,无论编写客户端程序还是服务端程序,在进行高并发TCP连接处理时,最高的并发数量都要受到系统对用户单一进程同时可打开文件数量的限制(这是因为系统为每个TCP连接都要创建一个socket句柄,每个socket句柄同时也是一个文件句柄)。可使用ulimit命令查看系统允许当前用户进程打开的文件数限制:

[361way@as4 ~]$ ulimit -n
1024

这表示当前用户的每个进程最多允许同时打开1024个文件,这1024个文件中还得除去每个进程必然打开的标准输入,标准输出,标准错误,服务器监听 socket[......]

Read more

分类: 平台架构 标签:

kvm虚拟化小结(十一)KVM中使用HugePage

2014年10月8日 没有评论

在KVM的测试中,有一项是要测试huge page的使用,所以对Huge Page(巨页)做了一些了解,结合网上的一些资料进行总结一下。现在,有许多的处理器架构都支持多种的内存页大小,其中就包括比一般的page size大很多的huge page。就目前来说,尽管在个人电脑中基本都实现了对huge page的支持,然而,huge page的使用主要还是在一些大型服务器和计算机集群中使用。

一、查看huge page的size是多大

Linux中,可以通过 cat /pro/meminfo | grep Hugepagesize 来查看。通常情况下,是2048kB即[......]

Read more

分类: 虚拟化云和自动化 标签:

kvm虚拟化小结(十)使用gho文件快速安装win系统

2014年10月7日 没有评论

无意间在网上看到qemu支接支持通过vmdk格式(vmware虚拟化使用的格式)的镜像,而ghost的gho文件又可以通过ghost32.exe/ghost64.exe将gho文件直接转换为vmdk格式的文件。而将转化过的vmdk文件可以通过qemu-kvm/qemu-system(系统不同叫法不同)进行启动。本篇是根据该篇的介绍进行的一个验证。

一、gho转vmdk

下载symantec ghost 11.5以上版本,根据操作系统版本的不同,可以使用ghost32.exe或ghost64.exe进行转换,由于当前我使用系统版本是win7 64位,这里我选择了ghost64.e[......]

Read more

分类: 虚拟化云和自动化 标签:

python torndb模块

2014年10月6日 没有评论

Python MySQLConnector模块

2014年10月6日 没有评论

python MySQLdb模块小结

2014年10月5日 没有评论

python MySQLdb模块

2014年10月4日 没有评论

python图片采集

2014年10月3日 没有评论

三个多线程采集网站图片的示例

2014年10月3日 没有评论