美高梅4858com

欢迎来到 盛火数据
0411-62668989
登录   / 注册 备案
企业资讯 行业动态

网站从小型到大型的演变过程

2019-06-03
       1. 初始阶段的网站架构
       大型网站都是从小型网站发展起来的,网站架构也是一样,网站刚开始搭建处于雏形阶段,访问量小,一台服务器完全够用,也是大部分企业级应用的选择


       应用程序,数据库,文件都部署在一台服务器的,通常服务器选用Linux,应用程序选用PHP,然后部署在Apache 上,数据库使用MySQL,汇集各种开源App以及一架低价的服务器就可以进行开发

       2. 应用服务和数据分离
       随着业务的发展,一台服务器不能满足业务需求:越来越多的用户访问导致性能越来越差,越来越多的数据导致服务器存储空间不足,这就需要将应用和数据分离。应用和数据分离后整个网站使用三台服务器,应用服务器,文件服务器,数据库服务器


       应用和数据分离后,不同特性的服务器承担不同的服务角色,网站的并发处理能力和数据存储都得到了很大的改善,支撑业务的进一步发展。但是随着业务的增多,访问量增大,网站又一次面临挑战,数据库压力太多导致访问延迟,进而影响整个网站的性能,用户体验受到影响

       3. 使用缓存改善网站性能
       网站访问特点和现实世界的财富分配通常符合二八定律: 80%的业务访问集中在20% 的数据上,淘宝买家浏览的商品集中在少部分成交数多、评价良好的商品上;百度搜索的关键词集中在少部分热门词汇上,搜索出来的词条你也会浏览前两页的内容。


       既然大部分的浏览都只会放在一小部分数据上,那么是否能把这些数据缓存起来放在内存中,是不是就可以减少数据库的压力,从而提高整个网站的数据访问速度,改善数据库的写入性能了呢?


       网站的缓存分为两种: 缓存在本地服务器上的本地缓存,缓存在远程服务器上的远程缓存,本地缓存的访问速度要比远程缓存的更快。但是受应用服务器的内存限制,往往会存在本地缓存和应用程序竞争内存的情况,这种情况在远程服务器上就不会存在,远程分布式缓存可以使用集群的方式,部署大内存的服务器使用专门的缓存服务器,理论上可以做到不受内存限制的缓存服务


       使用缓存后,有效的改善了数据库访问的压力,但是单一应用程序的服务器能够处理的连接有限,在网站访问的高峰期间,应用服务器会成为网站的瓶颈

4. 使用应用服务器集群改善网站的并发处理能力
       使用集群是解决高并发,海量数据问题的关键手段,当一台服务器的处理能力、存储空间不足的时候,不要尝试去更换一台存储量更大的服务器,而是考虑集群部署,因为对于大型网站而言,不管多么强大的服务器,都满足不了网站持续增长的业务。


       应用服务器集群部署,使用负载均衡服务器做负载控制,能够改善流量峰值对应用服务器的压力,避免单一服务器承担更多的请求压力。如果还有更多的请求,那么就在现有的基础上增加更多的应用服务器。

       5. 数据库读写分离
       使用缓存后,能够改善一部分的数据库访问压力,使绝大多数数据读操作访问不用通过数据库就能完成,但是仍有一部分读(缓存访问不命中,缓存过期)和全部的写操作都会直接访问数据库,在网站到达一定的规模后,也会增大数据库的压力


       目前大部分主流数据库都提供主从热备功能,通过配置两台数据库搭建主从关系,可以将一台数据库服务器的数据更新同步到另一台服务器上,网站可以利用这一特性,实现数据库的读写分离的功能,从而改善数据库的压力。


       应用在写数据的时候,访问主服务器,在读数据的时候,访问从服务器,主数据库通过主从复制的功能将数据同步更新到从服务器,这样当有读操作的时候,就会直接访问从服务器,当有写操作的时候,会直接访问主服务器,为了便于应用程序访问读写分离后的数据库,通常在应用服务器端使用专门的数据访问模块,使数据库读写分离对应用透明

       6. 使用反向代理和CDN加速网站响应
       随着网站规模不断扩大,用户规模越来越大,由于国内网络情况复杂,不同地区的用户访问网站时,速度差别也极大。有研究表明,网站访问延迟和用户流失率正相关,网站访问越慢,用户的流失率越快,所以为了更好的用户体验,留住用户,网站需要更快的访问速度,主要手段有使用CDN和反向代理


       CDN和反向代理的基本原理都是缓存,区别在于CDN部署在网络提供商的机房,使用户在请求网站服务时,可以从距离自己最近的机房获取数据;而CDN则部署在网站的中心机房,当用户请求到达中心机房后,首先访问的服务器是反向代理服务器,如果反向代理服务器缓存着资源,就会直接返回给用户




       使用CDN的目的都是尽早返回数据给用户,一方面能够加快访问速度,一方面都能减轻服务器的压力



       7. 使用分布式文件系统和分布式数据库系统
       任何强大的单一服务器都满足不了大型网站持续增长的业务需求。数据库经过读写分离后,从一台服务器拆分成两台服务器,但是随着网站业务的发展不能满足业务的需求,需要使用分布式的存储服务器,文件系统能够也是一样,需要使用分布式文件系统。


       分布式数据库是网站数据库拆分的重要手段,只有在单表数据非常庞大的时候才使用。不到不得已时,网站最常用的数据库拆分手段是业务分库。将不同业务的数据部署在不同的服务器上。





       8. 使用NoSQL和搜索引擎
       随着网站业务的扩大,对数据存储和检索的要求也越来越高,网站需要采用一些非关系型数据库技术如NoSQL和非数据库查询技术和搜索引擎


       NoSQL和搜索引擎都是源自互联网的技术手段,对可伸缩的分布式特性具有更好的支撑。应用服务器则通过一个统一数据访问模块访问各种数据。减轻应用程序管理诸多数据源的麻烦

       9. 业务拆分
       大型网站为了应对日益繁杂的业务场景,通过使用分而治之的方式将整个网站的业务拆分成不同的产品线,如大型购物交易网站就会将美高梅4858com、商铺、订单、买家、卖家等拆分成不同的产品线,分归不同的业务部门负责管理。


       具体到技术上,也会根据产品线划分产品,将一个产品拆分成不同的应用。每个应用独立部署和维护,应用之间可以通过超链接简历关系,也可以通过消息队列进行数据分发,当然最多的还是通过访问同一个数据存储系统来构成一个关联的完整系统。

       10. 分布式服务
       随着业务拆分越来越小,存储系统越来越大,应用系统的整体复杂度呈指数增长,部署越来越困难。由于所有的应用都要和数据库系统连接。在数万台服务器规模的网站中,这些连接的数目是服务器规模的平方。导致存数据库连接资源不足。拒绝服务。


       既然每一个应用系统都需要实行许多相同的业务操作,可以把相同的业务提取出来。由这些可复用的业务连接数据库。提供公用业务服务。

       大型网站演化到这里,基本上大多数的技术问题都可以解决,诸如跨数据中心的实时数据同步和具体网站业务相关的问题都可以通过组合改进现有的技术架构来解决。
XML 地图 | Sitemap 地图