mysql分布式集群架构图_一个分布式服务器集群架构方案

0x01.大型网站演化

简单说&＃xff0c;分布式是以缩短单个任务的执行时间来提升效率的&＃xff0c;而集群则是通过提高单位时间内执行的任务数来提升效率。

集群主要分为&＃xff1a;高可用集群(High Availability Cluster)&＃xff0c;负载均衡集群(Load Balance Cluster&＃xff0c;nginx即可实现)&＃xff0c;科学计算集群(High Performance Computing Cluster)。

分布式是指将不同的业务分布在不同的地方&＃xff1b;而集群指的是将几台服务器集中在一起&＃xff0c;实现同一业务。分布式中的每一个节点&＃xff0c;都可以做集群。 而集群并不一定就是分布式的。

之前在网上看到一篇关于大型网站演化的博客。

每个大型网站都会有不同的架构模式&＃xff0c;而架构内容也就是在处理均衡负载&＃xff0c;缓存&＃xff0c;数据库&＃xff0c;文件系统等&＃xff0c;只是在不同的环境下&＃xff0c;不同的条件下&＃xff0c;架构的模型不一样&＃xff0c;目的旨在提高网站的性能。

最初的架构只有应用程序&＃xff0c;数据库&＃xff0c;文件服务。

到后来&＃xff0c;分布式服务、集群架设。

0x02.关于均衡负载方案

在上一篇&＃xff0c;讨论过过的nginx现实均衡负载方案&＃xff0c;这里选择另一种HAProxy&＃43;Keepalived双机高可用均衡负载方案。

HAProxy是免费、极速且可靠的用于为TCP和基于HTTP应用程序提供高可用、负载均衡和代理服务的解决方案&＃xff0c;尤其适用于高负载且需要持久连接或7层处理机制的web站点。

不论是Haproxy还是Keepalived甚至是上游服务器均提高生产力并增强可用性,也就是如下架构中Haproxy,Keepalived,Httpd服务器任意宕机一台服务还是可以正常运行的。

HAProxy的优点&＃xff1a;

1、HAProxy是支持虚拟主机的&＃xff0c;可以工作在4、7层(支持多网段)&＃xff1b;

2、能够补充Nginx的一些缺点比如Session的保持&＃xff0c;COOKIE的引导等工作&＃xff1b;

3、支持url检测后端的服务器&＃xff1b;

4、本身仅仅就只是一款负载均衡软件&＃xff1b;单纯从效率上来讲HAProxy更会比Nginx有更出色的负载均衡速度&＃xff0c;在并发处理上也是优于Nginx的&＃xff1b;

5、HAProxy可以对Mysql读进行负载均衡&＃xff0c;对后端的MySQL节点进行检测和负载均衡&＃xff1b;

0x03.关于Redis缓存方案

缓存分为服务器缓存和应用程序缓存。

关于应用程序内缓存&＃xff0c;已经在里面做了模块处理了。

关于服务器缓存&＃xff0c;主要缓存服务器文件&＃xff0c;减少服务器和php交互&＃xff0c;减少均衡负载服务器和应用程序服务器交互。

缓存里面有一种典型的memcached&＃xff0c;现在用的多的是redis轻量级缓存方案。

关于memcached与redis&＃xff0c;看这篇

Redis主要将数据存储在各种格式&＃xff1a;列表&＃xff0c;数组&＃xff0c;集合和排序集&＃xff0c;一次能接受多个命令&＃xff0c;阻塞读写&＃xff0c;等待直到另一个进程将数据写入高速缓存。

一篇关于Reids缓存方案。

0x04.关于搜索引擎Sphinx方案

(第一期不做&＃xff0c;后期需求时候考虑)

Sphinx是俄罗斯人开发的&＃xff0c;号称是很吊啦&＃xff0c;千万级数据检索&＃xff0c;每秒10MB/s&＃xff0c;搭过环境。

Sphinx和MySQL是基于数据库的全文引擎&＃xff0c;创建索引是B&＃43;树和hash key-value的方式。

原理类似于用底层C检索MySQL&＃xff0c;然后弄出一个sphinx.conf配置文件&＃xff0c;索引与搜索均以这个文件为依据进行&＃xff0c;要进行全文检索&＃xff0c;首先就要配置好sphinx.conf&＃xff0c;告诉sphinx哪些字段需要进行索引&＃xff0c;哪些字段需要在where,orderby,groupby中用到。

0x05.关于NoSQL快速存储方案

NoSQL在这里的使用价值是处理一些琐事&＃xff0c;比如用户个人网站的一些css值&＃xff0c;height,width,color等等的小而繁多的数据&＃xff0c;采用NoSQL旨在提升数据库速度&＃xff0c;减少对MySQL的SELECT请求。

关于NoSQL的方案很多了&＃xff0c;选一个简单的MongDB好了。

0x06.关于分布式MySQL方案

(做分布式MySQL还没尝试过&＃xff0c;初期也不清楚mysql所需要的压力&＃xff0c;所以第一期不打算做分布式MySQL)

0x07.分布式集群方案

综合起来&＃xff0c;大致就是如下模型&＃xff0c;初探分布式架构&＃xff0c;很多模块将就形势做调整&＃xff0c;时时更新中&＃xff0c;待续。。。

核心技术&＃xff1a;Maven,Springmvc mybatis shiro, Druid, Restful, Dubbo, ZooKeeper,Redis,FastDFS,ActiveMQ,Nginx1.     项目核心代码结构截图

项目模块依赖

特别提醒&＃xff1a;开发人员在开发的时候可以将自己的业务REST服务化或者Dubbo服务化

2.    项目依赖介绍

2.1 后台管理系统、Rest服务系统、Scheculer定时调度系统依赖如下图&＃xff1a;

2.2 Dubbo独立服务项目依赖如下图&＃xff1a;

3.  项目功能部分截图&＃xff1a;

zookeeper、dubbo服务启动

dubbo管控台

REST服务平台