PHP解决网站大数据大流量与高并发

第一，硬件方面

普通的一个p4的服务器每天最多能支持大约10万左右的ip，如果访问量超过10w那么需要专用的服务器才能解决，如果硬件不给力 软件怎么优化都是于事无补的。主要影响服务器的速度

有：网络-硬盘读写速度-内存大小-cpu处理速度。

第二，软件方面

第一个要说的就是数据库，首先要有一个很好的架构，查询尽量不用* 避免相关子查询 给经常查询的添加索引 用排序来取代非顺序存取，如果条件允许 ，一般mysql服务器最好安装

在linux操作系统中 。关于apache和在高并发的情况下推荐使用，ginx是apache服务器不错的替代品。nginx内存消耗少 官方测试能够支撑5万并发连接，在实际生产环境中跑

到2～3万并发连接数。方面不需要的模块尽量关闭，使用memcached，memcached 是一个高性能的分布式内存对象缓存系统，不使用数据库直接从内存当中调数据，这样大大提升了速

度，iis或apache启用gzip压缩优化网站，压缩网站内容大大节省网站流量。

第二，禁止外部的盗链。

外部网站的图片或者文件盗链往往会带来大量的负载压力，因此应该严格限制外部对
于自身的图片或者文件盗链，好在目前可以简单地通过refer来控制盗链，apache自
己就可以通过配置来禁止盗链，iis也有一些第三方的isapi可以实现同样的功能。当
然，伪造refer也可以通过代码来实现盗链，不过目前蓄意伪造refer盗链的还不多，
可以先不去考虑，或者使用非技术手段来解决，比如在图片上增加水印。

第三，控制大文件的下载。

大文件的下载会占用很大的流量，并且对于非scsi硬盘来说，大量文件下载会消耗
cpu，使得网站响应能力下降。因此，尽量不要提供超过2m的大文件下载，如果需要
提供，建议将大文件放在另外一台服务器上。

第四，使用不同主机分流主要流量

将文件放在不同的主机上，提供不同的镜像供用户下载。比如如果觉得rss文件占用
流量大，那么使用feedburner或者feedsky等服务将rss输出放在其他主机上，这
样别人访问的流量压力就大多集中在feedburner的主机上，rss就不占用太多资源了

第五，使用不同主机分流主要流量
将文件放在不同的主机上，提供不同的镜像供用户下载。比如如果觉得rss文件占用流量大，那么使用feedburner或者feedsky等服务将rss输出放在其他主机上，这样别人访问的流量压力就大多集中在feedburner的主机上，rss就不占用太多资源了。

第六，使用流量分析统计软件。
在网站上安装一个流量分析统计软件，可以即时知道哪些地方耗费了大量流量，哪些页面需要再进行优化，因此，解决流量问题还需要进行精确的统计分析才可以。比如：google analytics（google分析）。

高并发和高负载的约束条件：硬件、部署、操作系统、web 服务器、php、mysql、测试

部署：服务器分离、数据库集群和库表散列、镜像、负载均衡

负载均衡分类： 1)、dns轮循 2）代理服务器负载均衡 3）地址转换网关负载均衡 4）nat负载均衡 5）反向代理负载均衡 6）混合型负载均衡

部署方案1：

适用范围：静态内容为主体的网站和应用系统；对系统安全要求较高的网站和应用系统。

main rver：主服务器

承载程序的主体运行压力，处理网站或应用系统中的动态请求；

将静态页面推送至多个发布服务器；

将附件文件推送至文件服务器；

安全要求较高，以静态为主的网站，可将服务器置于内网屏蔽外网的访问。

db rver：数据库服务器

承载数据库读写压力；

只与主服务器进行数据量交换，屏蔽外网访问。

file/vide怎样理解中国梦o rver：文件/视频服务器

承载系统中占用系统资源和带宽资源较大的数据流；

作为大附件的存储和读写仓库；

作为视频服务器将具备视频自动处理能力。

发布服务器组：

只负责静态页面的发布，承载绝大多数的web请求；

通过nginx进行负载均衡部署。

部署方案2：

适用范围：以动态交互内容为主体的网站或应用系统；负载压力较大，且预算比较充足的网站或应用系统；

web服务器组：

web服务无主从关系，属平行冗余设计；

通过前端负载均衡设备或nginx反向代理实现负载均衡；

划分专用文件服务器/视频服务器有效分离轻/重总线；

每台web服务器可通过dec可实现连接所有数据库，同时划分主从。

数据库服务器组：

相对均衡的承载数据库读写压力；

通过数据库物理文件的映射实现多数据库的数据同步。

共享磁盘/磁盘阵列

将用于数据小学数学公式大全物理文件的统一读写

用于大型附件的存储仓库

通过自身物理磁盘的均衡和冗余，确保整体系统的io效率和数据安全；

方案特性：

通过前端负载均衡，合理分配web压力；

通过文件/视频服务器与常规web服务器的分离，合理分配轻重数据流；

通过数据库服务器组，合理分配数据库io压力；

每台web服务器通常只连接一台数据库服务器，通过dec的心跳检测，可在极短时间内自动切换至冗余数据库服务器；

磁盘阵列的引入，大幅提升系统io效率的同时，极大增强了数据安全性。

web服务器：

web服务器很大一部分资源占用来自于处理web请求，通常情况下这也就是apache产生的压力，在高并发连接的情况下，nginx是apache服务器不错的替代品。nginx (“engine x”) 是俄罗斯人编写的一款高性能的 http 和反向代理服务器。在国内，已经有新浪、搜狐通行证、网易新闻、网易博客、金山逍遥网、金山爱词霸、校内网、yupoo相册、豆瓣、迅雷看看等多家网站、 频道使用 nginx 服务器。

nginx的优势：

高并发连接：官方测试能够支撑5万并发连接，在实际生产环境中跑到2～3万并发连接数。

内存消耗少：在3万并发连接下，开启的10个nginx 进程才消耗150m内存（15m*10=150m）。

内置的健康检查功能：如果 nginx proxy 后端的某台 web 服务器宕机了，不会影响前端访问。

策略：相对于老牌的apache，我们选择lighttpd和nginx这些具有更小的资源占用率和更高的负载能力的web服务器。

mysql：

mysql本身具备了很强的负载能力，mysql优化是一项很复杂的工作，因为这最终需要对系统优化的很好理解。大家都知道数据库工作就是大量的、 短时的查询和读写，除了程序开发时需要注意建立索引、提高查询效率等软件开发技巧之外，从硬件设施的角度影响mysql执行效率最主要来自于磁盘搜索、磁盘io水平、cpu周期、内存带宽。

　　根据服务海水正蓝 郭美美器上的硬件和软件条件进行mysql优化。mysql优化的核心在于系统资源的分配，这不等于无限制的给mysql分配更多的资源。在mysql配置文件中我们介绍几个最值得关注的参数：

改变索引缓冲区长度(key_buffer)

改变表长(read_buffer_size)

设定打开表的数目的最大值(table_cache)

对缓长查询设定一个时间限制(long_query_time)

如果条件允许 ，一般mysql服务器最好安装在linux操作系统中，而不是安装在freebsd中。
策略： mysql优化需要根据业务系统的数据库读写特性和服务器硬件配置，制定不同的优化方案，并且可以根据需要部署mysql的主从结构。

php：

1、加载尽可能少的模块；

2、如果是在平台下，尽可能使用iis或者nginx来替代我们平常用的apache；

3、安装加速器（都是通过缓存代码预编译的结果和数据库结果来提高代码的执行速度）
eaccelerator，eaccelerator是一个自由开放源码php加速器，优化和动态内容缓存，提高了性能php脚本的缓存性能，使得php脚本在编译的状态下，对服务器的开销几乎完全消除。

apc：alternative php cache（apc）是 php 的一个免费公开的优化代码缓存。它用来提供免费，公开并且强健的架构来缓存和优化 php 的中间代码。

memcache：memcache是由danga i大发渠nteractive开发的，高性能的，分布式的内存对象缓存系统，用于在动态应用中减少数据库负载，提升访问速度。主要机制是通过在内存里维护一个统 一的巨大的hash表，memcache能够用来存储各种格式的数据，包括图像、视频、文件以及数据库检索的结果等

xcache：国人开发的缓存器，

策略： 为php安装加速器。

代理服务器（缓存服务器）：

squid cache（简称为squid）是一个流行的自由软件（gnu通用公共许可证）的代理演讲口才服务器和web缓存服务器。squid有广泛的用途，从作为网页服务器的前置cache服务器缓存相关请求来提高web服务器的速度，到为一组人共享网络资源而缓存万维网，域名系统和其他网络搜索，到通过过滤流量帮助网络安全，到局域网通过代理网。squid主要设计用于在unix一类系统运行。

策略：安装squid 反向代理服务器，能够大幅度提高服务器效率。

压力测试：压力测试是一种基本的质量保证行为，它是每个重要软件测试工作的一部分。压力测试的基本思路很简单：不是在常规条件下运行手动或自动测试，而是在计算机数量较少或系统资源匮乏的条件下运行测试。通常要进行压力测试的资源包括内部内存、cpu 可用性、磁盘空间和网络带宽等。一般用并发来做压力测试。
压力测试工具：webbench，apachebench等

漏洞测试：在我们的系统中漏洞主要包括：注入漏洞，xss跨站脚本攻击等。安全方面还包括系统软件，如操作系统漏洞，mysql、apache等的漏洞，一般可以通过升级来解决。

漏洞测试工具：acunetix web vulnerability scanner