网站架构技术一览

网站系统架构层次如下图所示&＃xff1a;

1.前端架构

前端指用户请求到达网站应用服务器之前经历的环节&＃xff0c;通常不包含网站业务逻辑&＃xff0c;不处理动态内容。

浏览器优化技术

并不是优化浏览器&＃xff0c;而是通过优化响应页面&＃xff0c;加快浏览器页面的加载和显示&＃xff0c;常用的有页面缓存、合并HTTP减少请求次数、使用页面压缩等。

CDN

内容分发网络&＃xff0c;部署在网络运营商机房&＃xff0c;通过将静态页面内容分发到离用户最近最近的CDN服务器&＃xff0c;使用户可以通过最短路径获取内容。

动静分离&＃xff0c;静态资源独立部署

静态资源&＃xff0c;如JS、CSS等文件部署在专门的服务器集群上&＃xff0c;和Web应用动态内容服务分离&＃xff0c;并使用专门的&＃xff08;二级&＃xff09;域名。

图片服务

图片不是指网站Logo、按钮图标等&＃xff0c;这些文件属于上面提到的静态资源&＃xff0c;应该和JS、CSS部署在一起。这里的图片指用户上传的图片&＃xff0c;如产品图片、用户头像等&＃xff0c;图片服务同样适用独立部署的图片服务器集群&＃xff0c;并使用独立&＃xff08;二级&＃xff09;域名。

反向代理

部署在网站机房&＃xff0c;在应用服务器、静态资源服务器、图片服务器之前&＃xff0c;提供页面缓存服务。

DNS

域名服务&＃xff0c;将域名解析成IP地址&＃xff0c;利用DNS可以实现DNS负载均衡&＃xff0c;配置CDN也需要修改DNS&＃xff0c;使域名解析后指向CDN服务器。

2.应用层架构

应用层是处理网站主要业务逻辑的地方。

开发框架

网站业务是多变的&＃xff0c;网站的大部分软件工程师都是在加班加点开发网站业务&＃xff0c;一个好的开发框架至关重要。一个好的开发框架应该能够分离关注面&＃xff0c;使美工、开发工程师可以各司其事&＃xff0c;易于协作。同时还应该内置一些安全策略&＃xff0c;防护Web用攻击。

页面渲染

将分别开发维护的动态内容和静态页面模板集成起来&＃xff0c;组合成最终显示给用户的完整页面。

负载均衡

将多台应用服务器组成一个集群&＃xff0c;通过负载均衡技术将用户请求分发到不同的服务器上&＃xff0c;以应对大量用户同时访问时产生的高并发负载压力。

Session管理

为了实现高可用的应用服务器集群&＃xff0c;应用服务器通常设计为无状态&＃xff0c;不保存用户请求上下文信息&＃xff0c;但是网站业务通常需要保持用户会话信息&＃xff0c;需要专门的机制管理Session&＃xff0c;使集群内甚至跨集群的应用服务器可以共享Session。

动态页面静态化

对于访问量特别大而更新又不很频繁的动态页面&＃xff0c;可以将其静态化&＃xff0c;即生成一个静态页面&＃xff0c;利用静态页面的优化手段加速用户访问&＃xff0c;如反向代理、CDN、浏览器缓存等。

业务拆分

将复杂而庞大的业务拆分开来&＃xff0c;形成多个规模较小的产品&＃xff0c;独立开发、部署、维护&＃xff0c;除了降低系统耦合度&＃xff0c;也便于数据库业务分库。按业务对关系数据库进行拆分&＃xff0c;技术难度相对较小&＃xff0c;而效果又相对较好。

虚拟化服务器

将一台物理服务器虚拟化成多态虚拟服务器&＃xff0c;对于并发访问较低的业务&＃xff0c;更容易用较少的资源构架高可用的应用服务器集群。

3.服务层架构

提供基础服务&＃xff0c;供应用层调用&＃xff0c;完成网站业务。

分布式消息

利用消息队列机制&＃xff0c;实现业务和业务、业务和服务之间的异步消息发送及低耦合的业务关系。

分布式服务

提供高性能、低耦合、易复用、易管理的分布式服务&＃xff0c;在网站实现面向服务架构&＃xff08;SOA&＃xff09;。

分布式缓存

通过可伸缩的服务器集群提供大规模热点数据的缓存服务&＃xff0c;是网站性能优化的重要手段。

分布式配置

系统运行需要配置许多参数&＃xff0c;如果这些参数需要修改&＃xff0c;比如分布式缓存集群加入新的缓存服务器&＃xff0c;需要修改应用程序客户端的缓存服务器列表配置&＃xff0c;并重启应用程序服务器。分布式配置在系统运行期提供配置动态推送服务&＃xff0c;将配置修改实时推送到应用系统&＃xff0c;无需重启服务器。

4.存储层架构

提供数据、文件的持久化存储访问与管理服务。

分布式文件

网站在线业务需要存储的文件大部分都是图片、网页、视频等比较小的文件&＃xff0c;但是这些文件的数量非常庞大&＃xff0c;而且通常都在持续增加&＃xff0c;需要伸缩性设计比较好的分布式文件系统。

关系数据库

大部分网站的主要业务是基于关系数据库开发的&＃xff0c;但是关系数据库对集群伸缩性的支持比较差。通过在应用程序的数据访问层增加数据库访问的路由功能&＃xff0c;根据业务配置将数据库访问路由到不同的物理数据库上&＃xff0c;可实现关系数据库的分布式访问。

NoSQL数据库

目前各种NoSQL数据库层出不穷&＃xff0c;在内存管理、数据模型、集群分布式管理等方面各有优势&＃xff0c;不过从社区活动性角度看&＃xff0c;HBase无疑是目前最好的。

数据同步

在支持全球范围内数据共享的分布式数据库技术成熟之前&＃xff0c;拥有多个数据中心的网站必须在多个数据中心之间进行数据同步&＃xff0c;以保证每个数据中心都拥有完整的数据。在实践中&＃xff0c;为了减轻数据库压力&＃xff0c;将数据库的事物日志&＃xff08;或者NoSQL的写操作Log&＃xff09;同步到其他数据中心&＃xff0c;根据Log进行数据重演&＃xff0c;实现数据同步。

5.后台架构

网站应用中&＃xff0c;除了要处理用户的实时访问请求外&＃xff0c;还有一些后台非实时数据分析要处理。

搜索引擎

即使是网站内部的搜索引擎&＃xff0c;也需要进行数据增量更新及全量更新、构建索引等。这些操作通过后台系统定时执行。

数据仓库

根据离线数据&＃xff0c;提供数据分析与数据挖掘服务。

推荐系统

社交网站及购物网站通过挖掘人与人之间的关系&＃xff0c;人和商品之间的关系&＃xff0c;发展潜在的人际关系和购物兴趣&＃xff0c;为用户提供个性化推荐服务。

6.数据采集与监控

监控网站访问情况与系统运行情况&＃xff0c;为网站运营决策和运维管理提供支持保障。

浏览器数据采集

通过在网站页面中嵌入JS脚本采集用户浏览器环境与操作记录&＃xff0c;分析用户行为。

服务器业务数据采集

服务器业务数据包括两种&＃xff0c;一种是采集在服务器端记录的用户请求操作日志&＃xff1b;一种是采集应用程序运行期业务数据&＃xff0c;比如待处理消息数目等。

服务器性能数据采集

采集服务器性能数据&＃xff0c;如系统负载、内存使用率、网卡流量等。

系统监控

将前述采集的数据以图表的方式展示&＃xff0c;以便运营和运维人员监控网站运行状况&＃xff0c;做到这一步仅仅是系统监视。更先进的做法是根据采集的数据进行自动化运维&＃xff0c;自动处理系统异常状况&＃xff0c;是吸纳自动化控制。

系统报警

如果采集来的数据超过预设的正常情况的阀值&＃xff0c;比如系统负载过高&＃xff0c;就通过邮件、短信、语音电话等方式发出警报信号&＃xff0c;等待工程师干预。

7.安全架构

保护网站免遭攻击及敏感信息泄露。

Web攻击

以HTTP请求的方式发起的攻击&＃xff0c;危害最大的就是XSS和SQL注入攻击。但是只要措施得当&＃xff0c;这两种攻击都是比较容易防范的。

数据保护

敏感信息加密传输与存储&＃xff0c;保护网站和用户资产。

8.数据中心机房架构

大型网站需要的服务器规模数以十万计&＃xff0c;机房物理架构也需要关注。

机房架构

对于一个拥有十万台服务器的大型网站&＃xff0c;每台服务器耗电&＃xff08;包括服务器本身耗电及空调耗电&＃xff09;每年大约需要人民币2000元&＃xff0c;那么网站每年机房电费就需要两亿人民币。数据中心能耗问题日趋严重&＃xff0c;Google、Facebook选择数据中心地理位置的时候趋向选择散热良好&＃xff0c;供电充裕的地方。

机柜架构

包括机柜大小&＃xff0c;网线布局、指示灯规格、不间断电源、电压规格&＃xff08;是48V直流电还是220V民用交流电&＃xff09;等一系列问题。

服务器架构

大型网站由于服务器采购规模庞大&＃xff0c;大都采用定制服务器的方式代替购买服务器整机。根据网站应用需求&＃xff0c;定制硬盘、内存、甚至CPU&＃xff0c;同时去除不必要的外设接口&＃xff08;显示器输出接口&＃xff0c;鼠标、键盘输入接口&＃xff09;&＃xff0c;并使空间结构利于散热。

&＃xff08;全文完&＃xff09;